Что такое ИИ-агент без аудита правил: 23% токенов уходят на дубли

Автор заметки, которую мы разбираем, прошёл путь от трёх абстрактных предложений по улучшению работы ИИ-агентов до одного конкретного бага. История Cockroach Labs с аудитом инструкций для инструмента миграции баз данных MOLT подтвердила ту же закономерность с другой стороны: инструкции для агентов накапливаются, а проверять их как код начинают позже. Разберём, как повторить этот процесс на собственных задачах.

Что понадобится

• Доступ к любой рассуждающей модели, поддерживающей длинный контекст: ChatGPT, Claude, GigaChat или YandexGPT
• Текстовый файл (или набор файлов) с текущими правилами для вашего ИИ-агента: системный промпт (базовая инструкция, которую модель получает до вашего запроса), набор инструкций, чек-листы
• Инструмент для запуска тестов или хотя бы блокнот, куда записывать результаты ручных проверок
• Примерно 2 часа на первый проход

Как проверить правило до того, как оно станет легаси?

1. Соберите все действующие инструкции в одно место. Скопируйте системные промпты, файлы навыков (skill-файлы), чек-листы и шаблоны. Cockroach Labs при аудите MOLT собрали 25 таких файлов общим объёмом более 100 тысяч слов. У вас их, скорее всего, меньше, но даже три документа по 2 000 слов уже достаточно для аудита.

2. Попросите модель найти дубли и пересечения. Загрузите собранный текст в чат с длинным контекстом и задайте промпт:

Ниже — полный набор инструкций для ИИ-агента.
Найди правила, которые дублируют друг друга
или противоречат друг другу.
Для каждого дубля укажи:
— точные фрагменты обоих правил,
— какое из них шире,
— можно ли удалить одно без потери обязательных
  проверок, команд, шаблонов и контрольных маркеров.

1. Зафиксируйте, что уже работает в коде. Автор оригинальной заметки предложил три улучшения: повторные прогоны (reruns), проверку вызовов инструментов по журналу работы агента и калибровку модели-судьи (модели, которая оценивает ответы другой модели). После проверки оказалось, что все три механизма уже были реализованы в существующем коде. Часть предложений просто дублировала то, что работало. Прежде чем писать новое правило, откройте код или настройки и убедитесь, что механизма ещё нет.

2. Сформулируйте пробел по пяти строкам. Автор предлагает шаблон, который стоит использовать до написания любого нового правила:

1. Наблюдаемый сбой и вход, на котором он повторяется.
2. Механизм, который уже регулирует это поведение.
3. Точное место и минимальный объём изменения.
4. Проверка, которая отличит исправление от прежнего поведения.
5. Статус: идея, бриф или принятое решение.

1. Напишите тест до правила, а не после. В описанном пилоте автор запустил восемь проверок на отдельном Linux-сервере с искусственными данными и подменёнными ответами процесса. Проверки касались только механики учёта: живые модели, производственные задачи и качество оценщика не тестировались. Цель теста не доказать пользу правила в бою, а убедиться, что конкретная доработка фиксирует конкретный сбой.

2. Различайте типы отказов. В найденном пробеле ошибка запуска оценщика и содержательный отказ сценария возвращали одинаковое False, хотя причины были разными. Хранение baseline (результата для будущего сравнения) теряло счётчики прогонов. Если ваш агент возвращает одинаковый сигнал на разные виды неудач, вы не сможете отличить баг инфраструктуры от реального провала задачи.

3. Удалите лишнее и зафиксируйте результат. Cockroach Labs при аудите отметили около 23 тысяч слов (примерно 23% от общего объёма) как удаляемые без изменения обязательных проверок, команд, шаблонов и контрольных маркеров. Соавтор уточнил, что при первом проходе агенты убрали около 18% текста. Критерии проверки составлял человек; команды, пороги и шаблоны менять было запрещено.

Зачем нужно одобрение человека на каждом шаге?

Cockroach Labs после первой недели автономной работы агентов включили обязательное одобрение человеком перед каждым слиянием изменений. В описании они приводят пример небольшой правки, которая прошла одиннадцать кругов доработки за два дня. Такой пример заставляет проверять и сам процесс контроля: помогает ли очередное требование исправить результат или только добавляет цикл согласования.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Если вы используете ИИ-агента для проверки или генерации черновиков, откройте свои промпты и пройдите по шагам 1 и 2. Даже в системном промпте из 500 слов часто обнаруживаются два абзаца, которые говорят одно и то же разными словами.

Маркетологу. Каждая лишняя строка в промпте для агента, который обрабатывает заявки или пишет рассылки, это лишние токены на каждом запросе. При тысячах запросов в месяц 20% экономии текста заметны в счёте от провайдера модели.

Предпринимателю в РФ. Подход работает с любой моделью: закрытой (ChatGPT, Claude) или доступной в России (YandexGPT, GigaChat). Главное не модель, а привычка проверять существующие механизмы перед написанием нового правила.

Проверьте свои промпты сегодня по шаблону пяти строк, и, скорее всего, обнаружите, что половину новых правил писать не нужно: механизм уже есть, просто его результаты не сохраняются или не различаются по типу отказа.