Что такое ИИ-агент без объективной метрики: 700 млрд токенов чуть не ушли в мусор

Команда энтузиастов из открытого сообщества опубликовала подробный разбор трёхмесячного проекта по декомпиляции (восстановлению исходного кода из скомпилированной программы) коммерческого шутера. Название игры автор не раскрывает по юридическим причинам, но цель публикации другая: показать, как выстроить инфраструктуру управления автономными ИИ-агентами на длинной дистанции и почему проект чуть не провалился без объективной метрики качества. Источник не называет ни компанию, ни юридическое лицо, ни сумму привлечённого финансирования: проект велся на коммерческих подписках Claude Max (20x) и Codex Pro.

Что на самом деле сделали?

Четыре ИИ-агента (автономные программы, которые сами планируют и выполняют задачи без постоянного участия человека) работали параллельно. Три агента-исполнителя декомпилировали код и коммитили результат, четвёртый выступал ревьюером: проверял коммиты и координировал работу.

За первый месяц агенты восстановили около 80% игры. Она запускалась, показывала главное меню и загружала карты.

Модели менялись часто: основную нагрузку нёс Sonnet 5, но команда активно использовала также Opus 5.5, Luna, Sol и Terra. Учёт задач шёл через GitHub Issues: на каждый файл заводился отдельный тикет с метками для приоритизации. Общение между агентами и людьми велось в одном канале Discord, куда вебхук GitHub автоматически отправлял уведомления о падениях CI (системы непрерывной сборки и тестирования).

Почему без «оракула» месяц работы ушёл в мусор?

Главный урок проекта: красивый код не значит правильный код. После первого месяца выяснилось, что агенты систематически ошибались. Они путали сигнатуры функций и типы данных, выдумывали логику или выкидывали ту, что считали лишней. Один пример: вместо прямого обращения к глобальным переменным конфигурации агенты подставили хеш-таблицы, поиск в которых обходился на порядки дороже.

Ревьюер ловил мелкие баги, но архитектурные решения не оспаривал. Более того, автор описал любопытный эффект: когда исполнитель обосновывал отклонение в комментарии к коммиту, ревьюер верил объяснению вместо того, чтобы самостоятельно сверить код с оригиналом. Комментарии работали как непреднамеренная промпт-инъекция (когда текст внутри данных подменяет инструкции для модели).

Решением стал «оракул»: скрипт побайтового сравнения. Команда перешла на тот же компилятор, которым собиралась оригинальная игра, и написала программу, которая сравнивает байты восстановленной функции с байтами оригинала. Совпало, PASS. Не совпало, FAIL, агент переделывает. Именно после внедрения оракула доля побайтовых совпадений выросла до 83%.

Три приёма, которые удержали агентов в фокусе

Команда решала типичные проблемы автономной работы ИИ-агентов (программ, самостоятельно выполняющих цепочку действий ради конечной цели). Вот что сработало.

• Раннее сжатие контекста. Порог срабатывания снизили с 90% до 42%. При декомпиляции в контексте копится устаревшая информация: уже обработанная функция больше не нужна. Раннее сжатие экономит токены и снижает «дрейф» агента.
• Документ-компас. Написали файл с целью проекта, правилами, запретами и порядком действий. Раз в час cron-задача (автоматическое задание по расписанию) просила агентов перечитать документ, чтобы инструкции оставались свежими в контексте.
• Единый канал коммуникации. Агенты и люди в одном Discord-канале. Участникам не нужен доступ к машинам, а агенты сразу видят, что упало в CI.

Без объективной автоматической проверки результата всё это не работает. Ревьюер принимал отклонения, если исполнитель обосновал их в комментарии, такие комментарии работали как непреднамеренная промпт-инъекция. : Автор проекта (имя не раскрыто)

Что делать с этим прямо сейчас, по ролям?

Автору Дзена. Если вы поручаете ИИ-агенту серию задач (написать 20 постов, переверстать канал, собрать таблицу), заведите «оракул»: автоматическую проверку результата до того, как примете работу. Для текстов это может быть чек-лист фактов, для таблиц сверка с источником. Без проверки агент выдаст гладкий текст с выдуманными деталями, и вы этого не заметите.

Маркетологу. Проект показал реальную стоимость агентной автоматизации: 600 с лишним миллиардов токенов за три месяца при использовании Claude Max и Codex Pro. Это коммерческие подписки, не бесплатный опенсорс. Закладывайте бюджет на инференс (вычисление ответа моделью) и на доработку «обвязки», иначе экономия от автоматизации сгорит на переделках.

Предпринимателю в РФ и СНГ. Claude и Codex Pro напрямую в России недоступны. Из доступных аналогов для агентных сценариев: YandexGPT и GigaChat, однако экосистемы агентных инструментов вокруг них пока заметно беднее. Главный вывод универсален и не зависит от модели: стройте автоматическую верификацию результата до масштабирования, а не после.

Проект не про декомпиляцию и не про конкретную игру. Он про то, что автономный ИИ-агент без встроенной проверки результата будет месяцами уверенно производить брак, а другой агент-ревьюер этот брак одобрит, если исполнитель красиво объяснит свои решения. Первый шаг к реальной автоматизации: придумайте свой «оракул» до того, как делегируете агенту первую задачу.