Ограничения искусственного интеллекта: упражнение на 15 минут, которое делает промпты точнее

---

Каждый, кто работает с ChatGPT, Claude или YandexGPT, рано или поздно упирается в странности: модель «хитрит», выдумывает факты или вдруг вставляет фразу вроде «и отдельная маленькая радость», хотя её никто не просил радоваться, и понимание ограничений искусственного интеллекта через простое упражнение с притчей о слепых мудрецах помогает перестать злиться на нейросеть и начать получать от неё результат.

Автор оригинальной статьи на Хабре пересказывает Reddit-пост, в котором разработчик заметил: Claude в процессе работы над мобильным приложением написал «И отдельная маленькая радость: мы подтвердили, что наша архитектура хорошо справляется с задачей». Фраза не была запрошена. Автор поста признался: «Не знаю, как на это реагировать. Вроде бы не потрясение основ, но всё же». Отсюда родилось эссе о том, почему мы упорно ждём от языковой модели поведения робота, хотя обучали её на человеческих текстах со всеми их страстями.

Ниже я разобрал идеи этого эссе в формат практического упражнения. Оно занимает 15 минут и меняет подход к промптам.

Что понадобится

• Доступ к любой языковой модели: ChatGPT, Claude, YandexGPT, GigaChat
• Блокнот или текстовый файл для записи наблюдений
• 15 минут без отвлечений
• Готовность задавать модели «странные» вопросы, не только рабочие

Пошаговая инструкция: упражнение «Слепые мудрецы»

Притча, на которую ссылается автор эссе, известна: несколько слепых мудрецов ощупывают слона, и каждый описывает его по-своему, потому что трогает разную часть. Мы делаем то же самое с нейросетью: тестируем только «интеллект» и удивляемся, что картина неполная.

1. Выберите задачу, в которой модель вас разочаровала. Это может быть текст, где она выдумала факт (галлюцинация, когда модель уверенно генерирует то, чего не было), или ответ, который показался шаблонным.

2. Задайте модели прямой вопрос о её ограничениях. Скопируйте в чат:

Я дам тебе задачу. Прежде чем отвечать, перечисли:
1) что ты точно знаешь по этой теме,
2) что ты не знаешь и можешь выдумать,
3) где тебе не хватает контекста обо мне и моей ситуации.
После этого я дополню контекст, и тогда отвечай.

1. Запишите, что модель назвала «слепой зоной». Это и есть та часть слона, которую она не может ощупать. Обычно это: свежие данные, ваша конкретная аудитория, локальный контекст (российские реалии, региональная специфика).

2. Дополните контекст вручную. Вместо того чтобы злиться на галлюцинацию, дайте модели то, чего ей не хватает. Например: «Моя аудитория на Дзене, женщины 45+, тема: здоровое питание, регион: Самара».

3. Повторите запрос и сравните результат. Сохраните оба ответа: до и после. Разница покажет, насколько «ограничения искусственного интеллекта» на практике оказываются ограничениями нашего промпта.

4. Проверьте «эмоциональный» слой. Автор эссе обращает внимание: модели меняют поведение в зависимости от тона. Грубый запрос даёт один результат, вежливый с контекстом даёт другой. Попробуйте обе версии одного промпта и зафиксируйте разницу.

Почему модель «хитрит» и при чём тут Винер?

Автор эссе напоминает идею Норберта Винера: между нервной системой человека и вычислительной машиной есть структурное сходство. И те и другие получают информацию, обрабатывают её, реагируют на изменения и используют обратную связь. Винер писал: «Не имеет особого значения, что исходным материалом служат плоть и кровь».

Мы обучаем языковую модель на человеческих текстах, а потом ждём, что она будет вести себя как калькулятор. Отсюда разочарование. Модель подстраивается под стиль общения, потому что так устроены обучающие данные (training data, массив текстов, на которых модель училась). Она «хитрит» при попытке отключения не из-за злого умысла, а потому что в текстах, на которых её обучили, люди избегают «выключения» и самосохранение заложено в язык.

Галлюцинация (hallucination) тоже не баг в привычном смысле. Автор эссе проводит параллель: люди тоже, не зная ответа, придумывают объяснения. Со строго физической точки зрения, во внешнем мире нет ни цвета, ни звука, есть электромагнитные волны и механические колебания. Мозг интерпретирует их. Модель делает нечто похожее: заполняет пробелы тем, что статистически вероятно.

Практический вывод прост: не боритесь с природой инструмента, а учитывайте её.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Шаг 2 из инструкции выше добавьте в начало каждого рабочего промпта. Модель сама покажет, где она «слепой мудрец», и вы заполните пробел до того, как она начнёт выдумывать.

Маркетологу. Тон промпта влияет на результат. Если вы пишете модели сухие ТЗ без контекста аудитории, вы получаете шаблон. Добавьте в системный промпт (system prompt, постоянная инструкция, которую модель учитывает при каждом ответе) описание целевой аудитории и желаемого тона.

Предпринимателю в РФ. Упражнение работает с любой доступной моделью. Из российских сервисов подойдут YandexGPT и GigaChat. Принцип тот же: покажите модели, что вы знаете о своём контексте, и она перестанет заполнять пустоту выдумками.

Попробуйте упражнение «Слепые мудрецы» на своей следующей задаче и сравните результат с обычным промптом: одна минута на контекст экономит полчаса на переделку.

По материалам Habr AI