Продакт показал, что такое ИИ-агент под контролем: шаблон ловит 42 поломки

Что такое ИИ-агент? Это программа, которая не только отвечает в чате, но и сама запускает инструменты и выполняет шаги по вашей просьбе, как помощник с доступом к компьютеру. Автор публикации ведёт так проект с января и говорит прямо: тесты писал тот же агент, что и код, поэтому зелёные тесты сами по себе ничего не доказывают. Свою систему проверок он выложил на GitHub (сайт, где хранят и раздают код) открытым шаблоном.

Показать некому. Разработчика в проекте нет, а сам я код не читаю. : Автор шаблона, продакт расширения Chat with Multiple AI

На чём автор проверил подход?

Подход вырос на одном продукте, расширении Chat with Multiple AI. Оно отправляет один запрос сразу в 15 чатов с ИИ, среди них ChatGPT, Claude и Gemini. Эти чаты принадлежат чужим сайтам и меняются без предупреждения. Поэтому описание работы с каждым чатом лежит в отдельном файле настройки, и исправление доходит до пользователей без новой версии в магазине.

К моменту публикации у проекта такой опыт:

• две версии в Chrome Web Store;
• два исправления файла настройки, 19 октября и 1 ноября;
• 70 сценариев приёмки (список действий, по которому проверяют, что продукт ведёт себя как обещано), которые агент сам прошёл в браузере перед версией 1.0.1.

Здесь важен масштаб: это опыт одного продукта и одного человека, а не исследование.

Агент отчитывается проверками, а не словом «готово»

• Проверки, которые падают, если правило нарушено. Автор называет их сторожами.
• Отчёт о том, что агент сам увидел в браузере.
• Задача идёт по шести шагам от обсуждения до приёмки, для каждого шага есть готовый промпт (текстовая команда для ИИ).
• Девять уроков с датами из истории проекта и пять улучшений на следующий проект, у каждого улучшения есть довод против.
• Программировать не нужно, CLI (окно для ввода команд) тоже. Всё делается обычным текстом в чате с агентом.

Почему файла с правилами мало?

2 февраля в проекте появился файл AGENTS.md с правилами для агента. В нём были принципы KISS («делай проще») и DRY («не повторяй одно и то же дважды»), список технологий и схема папок. В марте добавилось правило «никаких магических чисел», то есть чисел в коде без названного смысла, например 3600 вместо «один час».

Файл вырос с 61 строки в феврале до 179 в октябре. Но агент мог нарушить любое правило, и автор узнал бы об этом только случайно. Первый сторож появился 11 мая.

Пример из шаблона: продукт обещает перечитывать файл настройки не реже раза в час. Если агент поменяет час на сутки, обычный тест сравнит новое число с ним же самим и останется зелёным. Сторож проверяет, что интервал больше нуля и не больше часа, и при сутках падает.

Название каждого сторожа записано обычной фразой, как обещание пользователю. Например: «Опубликованное исправление доходит до пользователя в течение часа». Список файлов читается как список обещаний продукта.

Как попробовать шаблон за минуту?

1. Откройте шаблон: https://github.com/yesgenius/agent-harness.
2. Попросите своего ИИ-агента запустить демонстрацию. Она ломает копию проекта сорока двумя способами и показывает, какая проверка поймала каждую поломку. На компьютере автора это занимает меньше минуты.
3. Чтобы читать страницы по-русски прямо на GitHub, откройте раздел «Как попробовать шаблон». Сам шаблон целиком на английском, и это тоже держит сторож: строка с нелатинскими буквами роняет тесты. С вами агент говорит на языке, на котором вы ему пишете.

Что с российскими моделями, пока неизвестно

Шаблон вырос на работе с Claude Code и Codex. Из доступных в РФ аналогов есть YandexGPT и GigaChat, но про работу шаблона с ними автор ничего не пишет. Сама идея переносится на любую модель: правило должно быть записано проверкой, которая падает при нарушении.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Сделайте из подхода чек-лист для своих текстов, написанных с ИИ. Вместо «нейросеть сказала, что всё верно» записывайте проверяемые требования: число из источника, ссылка, объём.

Маркетологу. Перед тем как заказывать разработчику мелкий инструмент, сформулируйте обещания продукта обычными фразами, как имена сторожей. Это готовое техзадание и для человека, и для агента.

Предпринимателю РФ и СНГ. Прежде чем строить продукт на Claude Code или Codex, проверьте доступ к ним со своей стороны: источник этот вопрос не обсуждает.

Какие вопросы задают чаще всего?

Что такое ИИ-агент и чем он отличается от чат-бота?

Чат-бот отвечает текстом. ИИ-агент сам запускает программы, проходит сценарии в браузере и показывает результат. Поэтому его работу надо проверять, а не просто читать.

Нужно ли знать английский?

Шаблон целиком на английском, но агент общается на вашем языке. Как читать страницы по-русски на GitHub, объяснено в разделе «Как попробовать шаблон».

Можно ли верить зелёным тестам?

Только если тест проверяет обещание, а не сравнивает код с самим собой. Если тесты пишет тот же агент, что и код, без сторожей зелёный цвет означает лишь то, что агент согласен сам с собой.