Как влияет контекст на точность ответа нейросети: три модуля по 95 % дают лишь 85 %

Многие авторы и маркетологи строят сложные промпты из нескольких последовательных инструкций: сначала «пойми тему», потом «выбери стиль», потом «напиши текст». Это каскадная архитектура, цепочка решений, где каждое зависит от предыдущего. Инженер и автор серии статей о критическом разборе ИИ-систем разобрал на точных расчётах, почему интуиция «больше шагов, значит, точнее» обманывает. Ниже практическое руководство: как понять, где именно контекст ломает точность, и что с этим делать.

Что понадобится

• Любая генеративная нейросеть с доступом через чат: ChatGPT, Claude, YandexGPT, GigaChat
• Текстовый редактор или заметки для фиксации промптов и результатов
• Python 3 (по желанию, для повторения расчёта, сторонние библиотеки не нужны)
• 30 минут на эксперимент и разбор

Каскад решений: почему три по 95 % не дают 95 %?

Прежде чем переходить к шагам, разберём ключевой механизм. Представьте систему из трёх последовательных узлов. Первый узел определяет категорию, второй уточняет подкатегорию, третий выдаёт финальный ответ. Если первый узел отправил запрос «не в ту ветку», идеальный специалист ниже по цепочке уже не поможет: данные до него просто не дойдут.

Каскадная архитектура (когда модули работают друг за другом, и каждый следующий видит только результат предыдущего) подчиняется жёсткому правилу: на каждом уровне выбирается один маршрут, возврата назад нет.

Возьмём 1000 объектов и три узла, каждый с точностью 95 % (ошибается ровно на 50 объектах). Расположим ошибки тремя способами.

Ошибки совпадают. Все три узла ошибаются на одних и тех же 50 объектах. Остальные 950 проходят маршрут. Точность цепочки: 95 %.

Ошибки независимы. Каждый узел ошибается случайно. Вероятность пройти три этапа: 0,95 × 0,95 × 0,95 = 0,857. Точность цепочки: 85,7 %.

Ошибки не пересекаются. Первый узел теряет свои 50, второй другие 50, третий ещё 50. До результата доходят 850 объектов. Точность цепочки: 85 %.

Три одинаковых числа в отчётах компонентов не определяют качество системы. Важен размер объединения ошибок: совпадающие ошибки «экономят» объекты, непересекающиеся отсекают разные.

Пошаговая инструкция

1. Разбейте свой промпт на явные этапы. Запишите, какие решения нейросеть принимает последовательно. Для статьи Дзена это обычно: «понять тему», «выбрать аудиторию», «определить структуру», «написать текст». Каждое решение это узел каскада.

2. Протестируйте каждый узел отдельно. Дайте нейросети только первый шаг на 5 разных вводных. Запишите, где она ошиблась. Повторите для второго и третьего шага, подавая на вход заведомо правильный контекст (не результат предыдущего шага, а ваш эталон).

3. Сравните наборы ошибок. Посмотрите, ошибается ли модель на одних и тех же вводных или на разных. Если ошибки не пересекаются, вы в худшем сценарии: каскад потеряет максимум объектов.

4. Добавьте контекст, который сдвигает ошибки к совпадению. Это ключевой приём. Включите в промпт для каждого шага одну и ту же информацию о задаче, аудитории, ограничениях. Так вы не уменьшаете число ошибок каждого узла, а заставляете узлы ошибаться на одних и тех же «трудных» случаях. Результат: объединение ошибок сужается, итоговая точность растёт.

5. Проверьте альтернативу: параллельный запрос вместо каскада. Задайте один и тот же вопрос трём моделям (или одной модели трижды с разной температурой) и выберите ответ большинством. При независимых ошибках точность большинства из трёх участников с точностью 95 % каждый составит 99,3 %. Формула:

P(ошибка большинства) = 3 × 0,05² × 0,95 + 0,05³ = 0,00725
Точность = 1 - 0,00725 = 99,275 %

1. Зафиксируйте результат. Сравните качество ответа каскадного промпта (шаги 1 по 4) и параллельного (шаг 5). Запишите, какой подход дал меньше фактических ошибок на ваших задачах.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Перед отправкой длинного промпта разбейте его на этапы и проверьте: передаёте ли вы контекст об аудитории и цели на каждый этап. Один потерянный контекст на первом шаге обесценивает всю цепочку.

Маркетологу. Если вы строите автоматическую генерацию контента через цепочку вызовов к API (интерфейс программного подключения к нейросети), заложите в бюджет параллельные запросы на критических узлах. Три вызова стоят втрое дороже одного, но ошибка на старте воронки стоит дороже трёх вызовов.

Предпринимателю в РФ. Все описанные приёмы работают с YandexGPT и GigaChat. Каскадная логика одинакова для любой модели. Если вы подключаете нейросеть к бизнес-процессу, не верьте отдельным метрикам точности каждого модуля: считайте точность всей цепочки.