Обучение ИИ-агентов на реальных данных: MTS AI подняла метрику модели 9B с 0,794 до 0,856

Команда MTS AI рассказала на Хабре, как именно они учат модели Cotype выполнять цепочки действий с инструментами без ошибок. Ключевой выбор: не генерировать «похожие на реальность» диалоги с помощью большой модели, а исполнять каждый вызов инструмента в настоящей базе данных. Разница принципиальна для всех, кто занимается обучением ИИ-агентов для корпоративных задач.

Почему компактным моделям нужны особые данные?

Большие модели на сотни миллиардов параметров обычно справляются с механикой многошаговых сценариев: сверяются со статусом перед записью, не теряют идентификатор между вызовами, не повторяют упавший запрос. Компактные модели (9 и 27 млрд параметров) понимают задачу не хуже, но на механических шагах ошибаются.

Команда MTS AI выделила пять повторяющихся классов ошибок, которые теряют корректность у компактных моделей в сценариях клиентской поддержки. Именно под эти классы собирался обучающий корпус.

Что понадобится

• Фреймворк τ²-bench (tau2), открытый инструмент для оценки агентов, вызывающих инструменты, в режиме двойного контроля (dual-control), где роли агента и клиента играют отдельные модели
• Доработка τ²-bench под свои задачи: генерация доменов, сбор трейсов (записей полного хода диалога) с исполнением вызовов в базе, тренировочный контур
• Среда для RL-обучения: GRPO (алгоритм обучения с подкреплением для языковых моделей) поверх verl-agent gym
• Реальная база данных с записями о пользователях, товарах, заказах, в которой исполняются все вызовы инструментов
• Две LLM: одна играет агента, вторая играет клиента

Пошаговая инструкция: как собрать обучающие трейсы

Весь процесс делится на два этапа: подготовка среды и генерация трейсов. Внутри них шесть шагов.

Этап 1. Подготовка среды

1. ARCHITECT: спроектируйте набор доменов (предметных областей) по нескольким темам. Каждый домен конструируется так, чтобы провоцировать целевые классы ошибок: инструменты, возвращающие идентификаторы, операции, завязанные на состояние, вызовы, которые умеют падать. На выходе не код, а спецификации.

2. BUILD: скомпилируйте каждую спецификацию в исполняемый домен. Сюда входят модель данных, инструменты, база и политика. Критерий: субагент может отрапортовать об успехе только если домен реально запускается и проходит проверки.

Этап 2. Генерация трейсов

1. Разыграйте диалог двумя LLM. Одна модель играет агента, другая играет клиента. Сценарий расставляет ловушки: подставляет устаревший email, переводит заказ в статус «доставлен». Но проходит ловушку LLM-агент сам.

2. Исполните каждый вызов инструмента в реальной базе. Когда агент предлагает вызов, исполнитель инструментов загружает состояние диалога, выполняет вызов со всеми проверками и изменениями в базе и возвращает фактический результат. Ошибка не постановочная: база отвергает неверный аргумент, и агент сам ищет обходной путь.

3. Соберите трейсы как есть. Попытки, ошибки, развилки попадают в трейс без редактирования. Идентификаторы и суммы переходят из шага в шаг, потому что их вернул вызов, другого источника нет.

4. Запустите RL-обучение (GRPO) на собранных трейсах. По данным MTS AI, дообучение модели на 9 млрд параметров через GRPO поднимает основную метрику с 0,794 до 0,856. На автономных задачах (ST) рост ещё заметнее: с 0,727 до 0,821.

Синтетика против реальных трейсов: в чём разница?

Существуют два подхода к созданию обучающих данных для обучения ИИ-агентов.

Синтетический путь: LLM «сочиняет» правдоподобный разговор и тут же придумывает ответы инструментов. Быстро и дешево, но ответы инструментов, ошибки, идентификаторы выдуманы. Модель учится на том, что лишь похоже на реальную работу.

Путь с исполнением (grounding): каждый вызов инструмента исполняется в настоящей базе. Ошибка инструмента не постановочная. Развилка определяется статусом сущности, который агент прочитал из базы. Разные варианты прохождения возникают сами, потому что на разные данные база отвечает по-разному.

MTS AI выбрали второй путь. Grounding (привязка к реальным данным) означает, что диалог не просто выглядит правдоподобно, а подтверждён реальным действием.

Что делать с этим прямо сейчас, по ролям

Авторам Дзена и копирайтерам. Если вы используете ИИ-ассистентов для написания текстов, вы уже сталкивались с галлюцинациями (когда ИИ уверенно выдумывает то, чего не было). Метод grounding, привязка к реальным данным, работает и для контентных задач: давайте модели реальные факты, а не просите «придумать пример».

Маркетологам. Агентные (agentic) сценарии в клиентской поддержке вплотную подошли к продакшену на компактных моделях. Это значит, что автоматизация первой линии поддержки перестаёт требовать бюджетов на инференс уровня GPT-4.

Предпринимателям в РФ и СНГ. Cotype, продукт MTS AI, работает в российском контуре. Для компаний, которым важно размещение на своих серверах, компактные модели на 9 и 27 млрд параметров решают задачу, которую раньше закрывали только зарубежные гиганты. Из других доступных в РФ решений для корпоративных агентов стоит смотреть на YandexGPT и GigaChat, но описанный метод сбора трейсов универсален и применим к любой модели.

Метод, который описала MTS AI, переводит обучение ИИ-агентов из режима «нагенерировать побольше похожих диалогов» в режим «каждый шаг подтверждён реальным действием в базе». Для компаний в РФ и СНГ, которые не могут позволить себе модели на сотни миллиардов параметров, это рабочий путь: взять компактную модель, собрать честные трейсы и дообучить. Разница между 0,727 и 0,821 на автономных задачах, это разница между агентом, который закрывает диалог при первой ошибке, и агентом, который находит обходной путь и решает задачу клиента.