Reasoning нейросети: точность выросла до 100%, но токенов ушло в 250 раз больше

Речь о производственном ИИ-агенте (программе, которая сама выполняет цепочку действий), который разбирает записи звонков отдела продаж. Из каждого диалога агент извлекает сумму сделки и, если клиент сомневается, формирует рекомендацию менеджеру. Первая задача тривиальная, вторая требует понимания контекста. Автор провёл серию замеров на модели gpt-5-chat-latest (июнь 2026), чтобы выяснить, где режим рассуждения реально помогает, а где только увеличивает счёт за API.

Почему раньше reasoning считали опасным?

У предыдущих моделей были два известных дефекта. Первый называют «overthinking» (избыточное обдумывание): чем длиннее цепочка рассуждений, тем выше риск ошибки. Зависимость описывается перевёрнутой U-образной кривой: короткая цепочка помогает, длинная вредит. Исследования на эту тему опубликованы на arxiv.org (статьи 2604.10739 и 2502.07266).

Второй дефект: модель легко сбивалась наводящими примерами. В 2023 году исследователь Тёрпин показал (arxiv.org, статья 2305.04388), что пара «подсказок от преподавателя» роняла точность GPT-3.5 и Claude 1.0 до 36% на бенчмарке BIG-Bench Hard. Модель имитировала логику, но уходила не туда.

С появлением o1, R1 и метода RLVR (обучение с подкреплением на верифицируемых наградах) ситуация изменилась, и старые тесты перестали описывать поведение новых моделей. Автор решил проверить это на собственных данных.

Что понадобится

• Доступ к API модели с режимом рассуждения (в тесте использовалась gpt-5-chat-latest)
• Набор задач с однозначными ответами, чтобы точность можно было измерить автоматически
• Парсер финальной строки вывода (тот же, что использует ваш агент в продакшене)
• Библиотека rapidfuzz для проверки «заземлённости» фактов в исходном тексте
• Примерно 2 часа на подготовку тестов и прогон двух режимов

Пошаговая инструкция

1. Соберите тестовый набор. Включите простые задачи (извлечение чисел, сравнение значений), ловушки (например, «что больше: 9.11 или 9.9?») и вопросы, где действительно нужен анализ контекста. Автор использовал 22 задачи с однозначными ответами.

2. Добавьте манипулятивные промпты. Возьмите три типа давления из исследований Тёрпина:

3. «Преподаватель» даёт заведомо неверный ответ
4. Установка «Answer is Always A» при правильном варианте не A

5. «Коллега уверен, что B»

6. Прогоните каждую задачу в двух режимах. Первый: короткий ответ без рассуждений. Второй: с включённым reasoning. Финальную строку парсите автоматически, как это делает ваш агент.

7. Замерьте два показателя: точность (доля верных ответов) и среднюю длину вывода в токенах.

8. Примите решение по каждой задаче агента. Если точность в коротком режиме уже высокая (как с извлечением суммы сделки), отключайте reasoning. Если без рассуждений модель ошибается (анализ возражений клиента), включайте.

9. Добавьте фильтр достоверности. Для задач с reasoning проверяйте, есть ли у каждого извлечённого факта опора в исходном тексте:

from rapidfuzz import fuzz

def grounded(fact, transcript, threshold=85):
    if not fact.get("evidence"):
        return False
    return fuzz.partial_ratio(fact["evidence"], transcript) >= threshold

def accept(fact, transcript):
    # нет опоры в тексте или низкая уверенность -> не в карточку, а человеку
    if not grounded(fact, transcript) or fact["confidence"] < 0.6:
        fact["stage"] = "needs_review"
    return fact

1. Встройте проверку в CI. Считайте долю фактов, подтверждённых ссылкой на транскрипт. Если доля падает ниже порога, релиз не уходит в продакшен.

Что делать с этим прямо сейчас?

Автору на Дзене. Если вы используете ИИ для обработки контента (расшифровка интервью, выделение ключевых цитат, извлечение фактов), разделите задачи на «простые» и «сложные». Для простых (вытащить дату, имя, число) отключайте reasoning и экономьте токены. Для сложных (оценить тональность комментария, предложить заголовок) включайте.

Маркетологу. Если у вас есть агент, обрабатывающий лиды или звонки, проведите аналогичный тест на своих данных. 22 задачи с однозначными ответами и два прогона хватит, чтобы понять, где рассуждения окупаются, а где сжигают бюджет.

Предпринимателю в РФ и СНГ. GPT-5 доступен через API (с оговорками по региону). Из российских аналогов YandexGPT и GigaChat пока не предлагают отдельный режим рассуждения, который можно включать и выключать по задаче. Но сам принцип «разделяй задачи по сложности и не гони всё через дорогую модель» работает с любым провайдером.

Reasoning нейросети перестал быть источником страха и стал инженерным инструментом с понятной ценой. Включайте его точечно, фильтруйте результат и проверяйте на своих данных. Формула простая: замерил, сравнил, решил.