Что такое ИИ-агент с идеальным баллом: заглушка без действий набрала 34% на том же тесте

Ниже текст новости, адаптированный к фактическому содержанию источника: технический разбор того, как проверять качество ИИ-агента, когда бенчмарк показывает идеальную оценку.

---

Разработчик экспериментальной системы ELM 5 июня 2025 года опубликовал разбор, который показывает: ИИ-агент (программа, способная сама выбирать действия и вызывать внешние инструменты) может получить идеальный балл на тесте, выполнив при этом лишь 2 из 13 ожидаемых действий.

Тест tau2-bench оценивает диалоговых агентов на задачах авиабронирования. Автор ELM обнаружил проблему, когда его система набрала идеальный pass^1 = 1,000 (все пять задач с максимальной наградой) при первом запуске, хотя реально совпали с эталоном только 2 действия из 13. Публикация стала разбором того, почему метрика врёт и как это исправить.

Что проверял автор и что нашёл?

ELM устроена так: код предлагает набор возможных действий, нейросеть-судья выбирает из них по вероятностям (не генерируя текст), а код исполняет вызов и собирает результат. Проверка шла на наборе airline из бенчмарка tau2-bench.

Первое открытие: бенчмарк проверяет конечное состояние базы данных, а не путь к результату. У 24 из 50 задач эталонное решение не меняет базу, начальное состояние уже совпадает с целевым. Это значит, что агент, который ничего не делает, может «пройти» такую задачу.

Чтобы проверить эту гипотезу, автор написал заглушку noop_agent. Она здоровается, задаёт уточняющий вопрос и повторяет его до остановки симулятора. Ни одного вызова инструмента. Результат:

• На 50 задачах: pass^1 = 0,340, совпавших действий 0 из 142
• На 30 отладочных задачах: pass^1 = 0,400

Автор подчёркивает: эти 34% не доказывают, что бенчмарк сломан. Справочный ответ или корректный отказ могут законно не менять базу. Но для оценки поведения агента одной итоговой награды мало.

Как ELM сравнилась с заглушкой?

На 30 задачах ELM показала pass^1 = 0,333, заглушка без единого действия показала 0,400. При этом ELM совершила 460 вызовов инструментов, из которых 411 оказались повторами. Один и тот же вызов встретился 100 раз. Набралось 713 ходов диалога, и бенчмарк эти затраты никак не учитывал.

Прогон на полных 50 задачах операционная система остановила после 41: пик памяти достиг 27 555 МБ.

Где пряталась ошибка?

Автор запустил одну и ту же модель deepseek-chat на трёх одинаковых задачах в двух разных циклах исполнения (харнессах): в референсном агенте бенчмарка и в своём цикле ELM.

Референсный агент: 5 из 5 действий, 22 хода, пик памяти 407 МБ. Цикл ELM: 0 из 5 действий, 31 ход, пик памяти 11 592 МБ.

Проблема оказалась не в нейросети-судье, а в контракте между выбором действия, хранением состояния и исполнением вызова. За десять итераций автор нашёл несколько конкретных ошибок:

• Повторный вызов cancel_reservation дописывал попытку в объект брони, инструмент возвращал всё более длинный ответ, память росла
• Модель DeepSeek возвращала число с пояснительным текстом, код разбора не распознавал его, и задача завершалась ошибкой инфраструктуры (INFRASTRUCTURE_ERROR)
• Сравнение реплики только с предыдущей пропускало циклические повторы вида A-B-A-B: агент делал 99 ходов без инструмента, а счётчик видел лишь один повтор

Лучший результат (версия v9): 3 из 5 действий, 136 ходов, 409 МБ. Допуск автора (4 из 5 действий, пик ниже 1 ГБ, ноль потерянных задач) так и не пройден. Полные прогоны на всём наборе автор остановил до выполнения этих условий.

Что такое ИИ-агент на практике и почему это важно для вас?

Для тех, кто впервые сталкивается с термином: что такое ИИ-агент? Это программа, которая сама решает, какое действие выполнить дальше: вызвать инструмент, отправить запрос в базу данных, ответить пользователю или передать задачу человеку. В отличие от обычного чат-бота, агент не просто генерирует текст, а совершает реальные операции.

Именно поэтому разбор из источника касается каждого, кто планирует доверить ИИ-агенту рабочие задачи.

Что это значит для вас?

Автору Дзена. Если вы тестируете ИИ-инструменты для автоматизации (публикация по расписанию, сбор данных, ответы на комментарии), высокий рейтинг сервиса на бенчмарке не гарантирует, что агент реально выполнит нужное действие. Проверяйте не оценку, а конкретный результат: изменилась ли запись, отправилось ли письмо, появился ли файл.

Маркетологу. При выборе агентных платформ для воронок и CRM смотрите не на синтетические баллы в презентации вендора, а просите показать лог действий: сколько вызовов, сколько повторов, какой реальный процент выполненных операций.

Предпринимателю в РФ. Из доступных в России инструментов с агентными возможностями работают YandexGPT и GigaChat. Принцип тот же: тестируйте на своих задачах, считайте реально выполненные действия, не доверяйте синтетическим рейтингам.

Контрольная тройка показывает: даже pass^1 = 1,000 соседствует с неполным выполнением действий. : Автор ELM

Главный практический шаг: при любой работе с ИИ-агентом считайте не итоговую оценку, а количество реально выполненных действий и их совпадение с тем, что вы ожидали. Галлюцинация (когда ИИ уверенно выдумывает то, чего не было) бывает не только в тексте, но и в действиях, и бенчмарк может её не заметить.