Что такое ИИ-агент, который учится сам: фреймворк Microsoft поднял точность кода на 14,6 п.п.

Исследователи из Microsoft Research Asia опубликовали фреймворк и формально описали подход, который назвали Harnessed Agentic RL. Суть: обучение с подкреплением (RL, reinforcement learning, метод, при котором ИИ учится методом проб и ошибок, получая награды за верные действия) встраивается в уже существующую обвязку агента. Раньше такие системы, как verl, AReaL и slime, требовали полной пересборки агента внутри тренировочной среды. Agent Lightning вместо этого ставит прокси-сервер между агентом и языковой моделью и записывает все обращения, не меняя ни строчки в коде самого агента.

Что именно измеряли?

Команда проверяла, можно ли обучить полноценного ИИ-агента для написания кода, не пересобирая его логику под учебную платформу. Бенчмарк SWE-bench Verified, это набор реальных задач из открытых репозиториев: агент получает описание бага и должен сам найти нужный файл, написать исправление и пройти тесты.

Модель Qwen3.5-9B (открытая модель с 9 миллиардами параметров) сначала прогнали по бенчмарку без дообучения, затем обучили через Agent Lightning на выборке из примерно 6 000 примеров и замерили снова.

Важная деталь: агент во время обучения работал точно так же, как при реальном использовании. Фреймворк не подменял его внутренности, а только наблюдал за обменом запросами между агентом и моделью через LLM-прокси (промежуточный сервер, который перехватывает и записывает все вызовы к языковой модели).

Что обнаружили?

• Прирост качества 14,6 процентных пунктов на SWE-bench Verified (с 41,8% до 56,4%) при обучении всего на 6 000 примерах. Для сравнения, многие конкурирующие подходы используют на порядок больше данных.
• Код агента не менялся. Достаточно перенаправить вызовы модели на прокси Agent Lightning, и фреймворк сам собирает траектории обучения.
• Kubernetes без облачных сервисов. Kubernetes (система оркестрации контейнеров, фактически диспетчер, который распределяет задачи по серверам) поддерживается нативно: агенты запускаются как стандартные задачи на собственных кластерах, в облаке или на локальной машине. Платные песочницы не нужны.
• Компактность. Весь фреймворк уместился в 3 500 строк кода, три компонента: шлюз API, контроллер прогонов и кастомизированный тренер.

Исследователи также описали четыре технические проблемы, которые возникают, когда обучающая система не управляет циклом взаимодействия напрямую: ретокенизация (повторное разбиение текста на токены может сдвинуть границы), расчёт преимущества, нормализация потерь и планирование нагрузки на GPU. В Agent Lightning v1.0 для каждой из этих задач предложено решение.

Что это значит для вас?

Разработчику в России и СНГ. Главная практическая ценность: можно взять своего ИИ-агента, не переписывая его под учебный стенд, и дообучить методом RL на собственных серверах. Kubernetes работает на любой инфраструктуре, облачные песочницы не нужны. Код открыт, 3 500 строк, это объём, который один инженер может прочитать за день.

Автору Дзена и контент-специалисту. Сейчас всё чаще звучит вопрос, что такое ИИ-агент и чем он отличается от обычного чат-бота. Agent Lightning показывает направление: агент, это не просто модель, а целая система из модели, инструментов и среды выполнения. Понимание этой разницы помогает точнее писать о технологиях и выбирать инструменты для автоматизации рутины.

Предпринимателю. Если вы рассматриваете внедрение ИИ-агентов для автоматизации кодирования или тестирования, Agent Lightning снижает порог входа: не нужно покупать доступ к коммерческим песочницам, а дообучение на 6 000 примерах выглядит экономичнее, чем подходы с десятками тысяч.

Если вы давно хотели понять, что такое ИИ-агент на практике, а не в теории, Agent Lightning, это хороший повод: открытый код, воспроизводимый пайплайн и результат, который можно проверить на своих данных за выходные.

По данным Microsoft Research Asia