Что такое ИИ-агент на практике: Creatorry за день заменил пороговые алерты скриптом в 20 строк

Александр из nurokod.dev описал архитектуру, экономику и конкретные провалы агента, который мониторит 18 сервисов платформы Creatorry. Логи льются в Grafana Cloud Loki: около 300 тысяч строк в сутки, из них примерно 12 500 с пометкой «error» и «warn». Стандартные пороговые правила на такой поток не работают: через неделю команда их отключает и перестаёт читать. А пользователи о багах почти не сообщают: по оценке автора, напишет в лучшем случае 1 из 20, остальные молча уйдут.

Что понадобится

• VPS (виртуальный сервер), любой с доступом по SSH
• Grafana Cloud Loki на бесплатном тарифе для хранения и запросов по логам
• OpenClaw (опенсорсный рантайм для агентов с поддержкой сессий, памяти и cron-расписания), ставится на тот же VPS
• Языковая модель с API, автор тратит около 10 долларов в месяц
• Telegram-бот для доставки алертов (создаётся через BotFather за минуту)
• bash и минимальный Python, 20 строк скрипта плюс однострочники
• Время: каркас собирается за один день, но на отладку «вранья» модели закладывайте ещё неделю

Как собрать агента за день: пошаговая инструкция

1. Подключите логи к Grafana Loki. Настройте отправку логов из всех сервисов. Убедитесь, что поля level размечены: агент будет фильтровать по {level=~"error|warn"}.

2. Установите OpenClaw на VPS. Рантайм даёт cron, изолированные сессии и каналы доставки. Никакого LangChain: одна cron-задача раз в 30 минут запускает сессию агента.

3. Напишите скрипт опроса Loki. Весь код интеграции укладывается в 20 строк bash:

# poll-loki.sh — запрос ошибок за последние N минут
MINUTES=${1:-5}
END=$(date +%s)000000000
START=$(( $(date +%s) - MINUTES * 60 ))000000000

curl -s -H "Authorization: Bearer $LOKI_TOKEN" \
  "$LOKI_URL/loki/api/v1/query_range" \
  --data-urlencode "query={level=~\"error|warn\"}" \
  --data-urlencode "start=$START" \
  --data-urlencode "end=$END" \
  --data-urlencode "limit=500"

1. Опишите промпт (текстовую инструкцию для модели) с жёстким правилом выходной двери. Главная идея: cron работает с флагом --no-deliver. Модель НЕ отправляет ничего автоматически. Единственный способ доставить алерт в Telegram: модель сама делает явный curl на api.telegram.org. Если curl не вызван, ничего не уходит. Это защита от ложных срабатываний.

2. Задайте правила фильтрации в промпте. Алерт уходит только в двух случаях:

3. (A) CRITICAL: ошибки 5xx, видимые пользователю, потеря данных, массовые падения

4. (B) Рост: частота ошибок выросла минимум вдвое к базовому уровню И минимум 5 событий за 5 минут

5. Добавьте расширение окна. Если агент нашёл кандидата, он автоматически расширяет запрос на час и шесть часов: было ли столько же вчера? Это отсекает хронические проблемы, которые не требуют немедленной реакции.

6. Настройте дедупликацию. Если сигнатура ошибки уже отправлялась за последние 2 часа, агент молчит. Исключение: частота выросла втрое, тогда уходит эскалация с пометкой «нарастает». Для ручного управления добавьте команду /mute прямо из Telegram-канала.

7. Разделите детектор и верификатор. Это критический шаг, без него агент будет врать (подробности ниже). Верификатор получает только кандидата и конфиг, но не видит рассуждений детектора. Верификатор обязан пересчитать другим запросом к Loki.

8. Добавьте железный порог отклонения. Формула: ratio = max(заявлено, проверено) / min(заявлено, проверено). Если ratio больше 2,0, алерт отклоняется без обсуждения.

9. Вынесите токен бота в конфиг и доставайте детерминированно. Не давайте модели «вспоминать» токен. Python-однострочник читает его из конфига прямо в шаге промпта.

Как агент дважды наврал и что с этим делать?

За 84 дня работы агент отправил 113 алертов. Лучший превратился в исправление бага за 3,5 часа от алерта до слияния кода. Но дважды модель соврала, и обе истории показательны для всех, кто строит агентные системы.

Выдуманный токен. В апреле агент нашёл два настоящих бага, но инструмент доставки оказался недоступен cron-сессии. Модель не остановилась: она сама собрала curl к Telegram API и подставила токен бота. Формат правильный, цифры выдуманные. Результат: 401 Unauthorized, два реальных бага остались непрочитанными до следующего дня.

84 ошибки в час из 2,5 реальных. 4 мая агент заявил: «84 ошибки в час, 7 за последние 5 минут». Ручная проверка в Loki показала: реальная частота 2,5 в час, в заявленном окне ноль. Три дефекта сработали одновременно:

• Галлюцинация (когда модель уверенно выдумывает то, чего не было) при самопроверке: один промпт и находил ошибку, и «проверял» сам себя
• Экстраполяция: модель умножила 7 на 12, получила 84 в час, хотя семёрка тоже была неверной
• Семантическая ошибка: в счётчик попали события canceled, это штатное закрытие соединения клиентом

Как выглядит верификация на практике?

После инцидента 4 мая авторы ввели обязательный журнал верификации. Вот реальная запись: детектор заявил 7 событий за 5 минут, независимый пересчёт нашёл одно, ratio 7,0, алерт отклонён.

{
  "service": "front",
  "verdict": "rejected",
  "claimed": {"count_5min": 7, "window": "12:53-12:58"},
  "verified": {"count_5min": 1, "window": "12:53-12:58"},
  "ratio_5min": 7.0
}

Дополнительная защита: в каждый навык агента вписаны «таблицы отмазок», заранее составленный список рационализаций, которыми модель оправдывает срезание углов. Модель видит их и знает, что эти аргументы не принимаются.

Экономика: 10 долларов и 15 секунд

Медиана одного цикла: 15 секунд. За последние четверо суток: 200 прогонов из 200, 25 алертов, 175 молчаливых циклов (девять из десяти запусков заканчиваются словом NO_REPLY). Стоимость модели: около 10 долларов в месяц. Grafana Cloud Loki на бесплатном тарифе.

Для сравнения: штатный дежурный инженер стоит многократно дороже. А пороговые алерты через неделю отключают сами разработчики.

Что делать с этим прямо сейчас, по ролям

Разработчику или техлиду в небольшой команде. Если у вас от 3 до 20 сервисов и логи уже в Loki или аналогичной системе, каркас собирается за день. Начните с одного сервиса, самого проблемного. Главное: не пропускайте шаг с разделением детектора и верификатора, иначе первый же ложный алерт подорвёт доверие к системе.

Предпринимателю с продуктом на стадии роста. Агент закрывает «ночной дежурный» за 10 долларов вместо отдельного сотрудника. Но минимум месяц из 135 дней агент автора не работал молча, то есть система требует присмотра и отладки. Экономия реальна, но не «поставил и забыл».

Автору Дзена, который пишет про технологии. Что такое ИИ-агент на практике, не абстрактный помощник из пресс-релиза, а конкретная программа, которая каждые 30 минут читает логи, считает ошибки, перепроверяет себя и пишет в Telegram. Это хороший материал для разбора: честная история с провалами убедительнее рекламных кейсов.

Каркас, который собирается за день, стоит 10 долларов в месяц и ловит реальные проблемы до того, как о них напишет (или промолчит) пользователь. Но только если вы готовы потратить ещё неделю на то, чтобы научить агента не верить самому себе.