Что такое ИИ-агент, который учится на ошибках: метод Perplexity снизил сбои на 21%

Чтобы понять, что такое ИИ-агент в контексте этого исследования: это программа, которая сама планирует цепочку действий, вызывает внешние инструменты (поиск, таблицы, API) и доводит задачу до результата без ручного управления на каждом шаге. Perplexity Computer как раз работает в таком агентном режиме: пользователь ставит задачу, а модель сама решает, какие инструменты вызвать и в каком порядке.

Компания не выложила ни обученные веса, ни код. Метод работает только внутри Perplexity Computer. Но базовая модель GLM 5.2, на которой всё построено, доступна на Hugging Face как модель с открытыми весами. Это значит, что саму технику можно воспроизвести самостоятельно, имея доступ к собственным логам пользовательских сессий.

Источник: публикация Perplexity Research, пересказ MarkTechPost.

Почему стандартное дообучение на успехах не работает?

Обычный подход, rejection sampling fine-tuning (RFT), отбирает только успешные сессии и учит модель их повторять. Проблема двойная.

• Успешный результат не значит, что каждый шаг был правильным. Агент мог допустить ошибку на третьем шаге, но восстановиться на пятом. Если модель имитирует всю цепочку, она заучивает и ошибку тоже.
• Провальные сессии выбрасываются целиком, хотя именно в них видно, чего конкретно делать не надо.

Что понадобится

• Модель: GLM 5.2 (доступна на Hugging Face) или аналогичная модель с открытыми весами.
• Логи сессий: записи реальных пользовательских сессий с вызовами инструментов, включая неудачные. Минимум нужны данные о том, какой инструмент вызван, с какими параметрами и был ли результат ошибкой.
• LLM-судья: отдельная языковая модель для оценки сложности задач и определения, какой именно шаг привёл к ошибке.
• Инфраструктура для дообучения: GPU для двух прогонов модели на каждом проблемном шаге (один с подсказкой, один без).
• Время: зависит от объёма логов; Perplexity использовала порядка 100 000 пользователей на каждое условие A/B-теста.

Пошаговая инструкция: как устроен метод Perplexity

Perplexity разделила процесс на две независимые задачи: какие сессии стоит имитировать и какие конкретные шаги стоит исправлять.

1. Соберите логи сессий с ошибками и без. Perplexity берёт реальные сессии из Perplexity Computer, обслуженные моделью GLM 5.2. Сессии с персональными данными и пользователи, отказавшиеся от участия, исключаются.

2. Отфильтруйте по сложности. LLM-судья оценивает задачу по 5-балльной шкале. В обучение попадают только задачи с оценкой 4 или 5. Простые задачи модель и так решает.

3. Определите успешность сессии. Два независимых LLM-судьи должны оба подтвердить, что финальный ответ пользователю корректен. Если хотя бы один не согласен, сессия считается неуспешной.

4. Разметьте каждый шаг одним из трёх тегов:

5. Имитировать (Imitate): шаг без ошибки в успешной сессии. На нём модель учится через стандартную функцию потерь (cross-entropy, CE).

6. Исправить (Correct): шаг с ошибкой и проверенной подсказкой-хинтом, в любой сессии. Здесь применяется KL-дивергенция (мера расхождения между двумя распределениями вероятностей).

7. Оставить как контекст (Keep): шаг без ошибки, но и без полезного сигнала. Он остаётся на входе, но модель на нём не обучается.

8. Найдите реальный источник ошибки, а не последний шаг. Три LLM-судьи определяют, какой шаг привёл к провалу. Минимум два должны совпасть. По данным Perplexity, последний шаг перед жалобой пользователя оказывается настоящей причиной только примерно в половине случаев.

9. Сформируйте подсказку-хинт. Хинт описывает ошибку на языке, который модель уже понимает. Пример:

Вызов search использовал recency_filter='year'. Схема допускает только 'day', 'week' или 'month'. Используйте допустимое значение или опустите необязательное поле.

Каждый хинт проверяется на то, что он опирается только на информацию, доступную модели до ошибки. Это снижает эффект «знания задним числом».

1. Запустите самодистилляцию (OPSD). На проблемном шаге один и тот же чекпоинт GLM 5.2 прогоняется дважды:
2. «Учитель» видит хинт.

3. «Ученик» хинта не видит. Оба работают в режиме teacher forcing (им подаётся правильная следующая последовательность токенов (минимальных единиц текста), новый ответ не генерируется). Вероятности «учителя» становятся мягкой целью для «ученика» через прямую KL-дивергенцию.

4. Объедините потери. Итоговая функция: (CE + λ × KL), делённая на число имитируемых токенов. При λ = 0 получается обычное дообучение (SFT). Perplexity подчёркивает, что CE-компонент критичен: без него учитель и ученик могут «договориться» игнорировать контекст.

5. Проведите A/B-тест. Perplexity тестировала на группах по 100 000 пользователей. Ранний чекпоинт против стандартной GLM 5.2 дал 2,82% против 2,94% сбоев, что статистически незначимо. Более поздний чекпоинт (RFT + OPSD) против раннего показал падение с 2,24% до 1,77%. Perplexity сообщает об этом как о статистически значимом снижении на 21,2% в относительном выражении. Прямого онлайн-сравнения позднего чекпоинта со стандартной GLM 5.2 компания не проводила.

Что делать с этим прямо сейчас, по ролям

Автору на Дзене. Если вы используете ИИ-агентов для ресёрча статей, начните записывать случаи, когда агент ошибся: что вы спросили, что он сделал не так и на каком шаге. Это готовый материал для системного промпта (постоянной инструкции, которую модель видит перед каждым запросом). Даже без дообучения промпт с описанием типичных ошибок работает как тот самый хинт.

Маркетологу. Метод Perplexity применим к любому агентному сценарию с внешними инструментами: парсинг цен, генерация отчётов, автозаполнение CRM. Если ваш агент ломается на 2-3% задач и вы эти случаи логируете, у вас уже есть сырьё для улучшения. Базовая модель GLM 5.2 доступна, но для воспроизведения метода нужна инженерная команда.

Предпринимателю в РФ. Perplexity Computer пока не ориентирован на российский рынок. Из доступных в РФ агентных решений ближе всего YandexGPT и GigaChat, но они не публиковали аналогичных методов дообучения на ошибках. Сам принцип «учиться на сбоях, а не выбрасывать их» универсален и применим к любому чат-боту с инструментами, если вы собираете логи.

Что такое ИИ-агент с точки зрения обучения, теперь понятнее: это не просто модель, которая отвечает на вопросы, а система, которая действует, ошибается и может учиться на своих ошибках, если выстроить правильный конвейер. Perplexity сделала первый публичный разбор такого конвейера. Код закрыт, но базовая модель открыта, а принцип «хинт на реальной ошибке» можно применить хоть завтра, даже в обычном промпте.