Нейросеть может уверенно ошибаться в длинных задачах: проверяйте её по шагам

Многие ждут от LLM (большой языковой модели, Large Language Model, того самого «мозга» внутри ChatGPT или нейросети Яндекса) готового правильного решения. Разбор, на который мы опираемся, объясняет, почему для сложных задач это ожидание не оправдано. Ниже простая схема работы с моделью, после которой она перестанет незаметно сбивать вас с курса.

Почему модель уверенно идёт по неверной ветке?

Модель не выводит решение от условия к ответу с гарантией правильности. Она последовательно продолжает текст и на каждом шаге выбирает один из вероятных вариантов. Между постановкой сложной задачи и верным ответом лежит огромное пространство промежуточных решений, и число развилок растёт комбинаторно, то есть лавинообразно.

Автор разбора вспоминает метафору про обезьян, которые случайно набирают «Войну и мир». Речь не о том, что модель отвечает наугад. Длинная правильная цепочка должна уцелеть на огромном числе развилок.

На какой-то развилке модель выбирает правдоподобную, но не ту ветку, потом ещё одну. Дальше она строит ответ от ошибочной точки, и этот ответ остаётся связным, поэтому выглядит убедительно. Со стороны это похоже на галлюцинацию (когда ИИ уверенно выдаёт то, чего нет), только растянутую на много шагов.

Лучше всего модель справляется там, где выбор узок, задача похожа на хорошо известный тип, а правильное решение встречается в типовых примерах. Отсюда практический вывод: длинную задачу нужно превратить в цепочку коротких.

Хватит часа и нейросети, к которой у вас есть доступ

• Любая нейросеть для текста: ChatGPT, YandexGPT, GigaChat.
• Документация к вашему инструменту, серверу или сервису.
• Резервная копия данных до любых изменений.
• От 30 до 60 минут на первую задачу, дальше будет быстрее.

Шесть шагов, чтобы модель не увела вас в сторону

1. Оцените длину цепочки. Задачи «напиши заголовок» или «объясни термин» узкие, тут модель сильна. Настройка сервера, миграция базы и отладка конфигурации состоят из длинных цепочек, и в них нужен контроль.
2. Попросите план, а не решение. Пусть модель сначала распишет шаги без команд. План легче сверить с документацией, чем готовый ответ на три экрана.
3. Давайте по одному шагу за раз. Каждый новый промпт (ваш запрос к модели) должен касаться одного шага.
4. Возвращайте модели реальный результат. Вставляйте вывод команды или текст ошибки, чтобы следующий шаг строился от фактического состояния, а не от предположения модели.
5. При первой нестыковке остановитесь. Не просите «поправить» в том же длинном диалоге: там уже накопилась ошибочная ветка. Откройте новый чат и опишите задачу заново с учётом того, что выяснили.
6. Сверяйте ключевые шаги с документацией. Особенно те, что удаляют, переносят или перезаписывают данные.

Шаблон промпта:

Задача: перенести базу данных сайта на новый сервер.
Не давай сразу всё решение. Сначала составь короткий план по шагам без команд.
Затем давай только один шаг за раз и жди, пока я пришлю результат.
Если результат не совпадает с ожидаемым, скажи прямо и предложи проверку, а не обходной путь.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Для заголовков, планов и черновиков модель подходит хорошо: задача узкая и типовая. Факты и инструкции в статье проверяйте по первоисточнику.

Маркетологу. Длинные цепочки вроде настройки аналитики или рекламных интеграций разбивайте на шаги с проверкой. Время, сэкономленное на генерации, легко потерять на поиске ошибки в середине.

Предпринимателю из РФ и СНГ. Описанная механика относится к LLM в целом, а значит и к доступным в России YandexGPT и GigaChat. Перед переносом сайта или базы с помощью нейросети заведите правило: резервная копия, план, один шаг за раз.

Проверяйте не то, насколько убедительно звучит нейросеть, а то, где она сделала последний подтверждённый шаг. Это правило сбережёт вам больше времени, чем любой новый промпт.