Что такое ИИ-агент для правки багов и почему он окупается только до трёх циклов доработок

Слово «ИИ-агент» звучит всё чаще, но что такое ИИ-агент на практике? Это не просто чат-бот, а программа, которая сама ставит себе подзадачи, выполняет их и проверяет результат. В случае команды ТестОпс агент по имени «Агент Смит» получает баг-репорт, предлагает план исправления, пишет код и открывает запрос на слияние. Звучит как мечта, но за ней скрываются издержки, которые не видны на глаз. Соавтор материала Сергей Левенец, CTO команды ТестОпс, описал, как именно команда научилась эти издержки считать. Ниже разбираем их подход по шагам, чтобы вы могли повторить его в своей команде.

Что понадобится

• ИИ-агент для правки кода. В примере ТестОпс используется агент, работающий на внешней языковой модели (LLM, большая языковая модель, которая генерирует текст и код). Подойдёт любой агентный (agentic, то есть действующий самостоятельно, без команд на каждый шаг) инструмент: Cursor Agent, Cody, собственная обвязка вокруг API.
• Система трекинга задач и баг-репортов. Jira, YouTrack, Linear или аналог, где фиксируются баги и статусы исправлений.
• Инструмент для дашбордов. Metabase, Grafana, Google Sheets или встроенный дашборд платформы. Главное, чтобы данные обновлялись автоматически.
• Доступ к логам расходов на модель. Биллинг провайдера LLM: OpenAI, Anthropic, или локальный сервер.
• Время: 2 часа на первичную настройку формулы и дашборда, затем 15 минут в неделю на чтение метрик.

Как построить дашборд ROI для ИИ-агента: пошаговая инструкция

1. Посчитайте базовую стоимость ручной правки бага. Разберите последние закрытые баги (команда ТестОпс взяла свои и получила в среднем 2 часа на исправление). Для модели заложите число вдвое ниже фактического, в их случае 1 час, чтобы оценка была консервативной.

2. Определите, что считать успехом. Считайте только смёрженные (принятые в основную ветку кода) фиксы. Открытый и отвергнутый запрос на слияние даёт нулевую пользу, но ненулевую стоимость. Ещё точнее: фиксируйте долю фиксов, принятых без единой правки человеком, потому что «просто смёрженный» фикс может быть одобрен уставшим ревьюером, который доверяет агенту.

3. Заложите стоимость доработок. Каждый цикл правок по комментариям ревью (когда человек читает код агента, пишет замечание, ждёт новую версию и снова проверяет) команда ТестОпс оценила примерно в треть часа разработчика. Переключение контекста, ожидание, повторное чтение: всё это реальное время.

4. Добавьте прямые расходы на модель. Возьмите стоимость прогонов LLM из биллинга провайдера. Если агент работает на внешней модели, вся стоимость сводится к оплате вызовов API.

5. Соберите формулу ROI. Команда ТестОпс использует такую:

ROI = смёржено_фиксов × часы_экономии × ставка
    − циклов_доработок × часы_на_цикл × ставка
    − стоимость_LLM

1. Сделайте параметры редактируемыми. Часы экономии, ставка инженера, штраф за цикл доработки: вынесите в интерфейс дашборда, чтобы каждый мог подставить свою экономику и увидеть, при каких условиях ROI становится отрицательным.

2. Найдите точку безубыточности. По арифметике ТестОпс, ROI уходит в ноль примерно при трёх с небольшим циклах доработок на каждый смёрженный фикс. Ставка инженера при этом сокращается (она есть в обеих частях формулы), поэтому порог одинаков для дорогих и дешёвых команд. Ваша задача: посмотреть, сколько циклов доработок приходится на фикс у вас и насколько это далеко от критической отметки.

3. Добавьте стоимость разработки самого агента. Дашборд ТестОпс считает только эксплуатацию, но команда честно указывает: каждый принятый фикс возвращает примерно 1 час рабочего времени. Значит, одна человеко-неделя, вложенная в платформу, отбивается примерно 40 смёрженными фиксами, а человеко-месяц уже 170. Запишите эту цифру отдельно и обновляйте по мере развития агента.

Что это значит для вашей работы?

• Авторам Дзена и копирайтерам. Если вы используете ИИ-агенты для генерации или правки текстов, принцип тот же: считайте не «сколько текстов сгенерировал», а «сколько циклов правок потребовал каждый». Три раунда редактуры на один текст могут стоить дороже, чем написать с нуля.

• Маркетологам. Прежде чем внедрять агентный инструмент в воронку (автоматическая генерация лендингов, писем, креативов), постройте простую таблицу: стоимость прогона модели плюс время на проверку и доработку результата. Формула ТестОпс адаптируется за час.

• Предпринимателям в РФ и СНГ. Агентные инструменты доступны и в российских реалиях: для кода работают GigaCode от Сбера, встроенные возможности YandexGPT. Но ни один из них не отменяет главного вопроса: сколько человеческих часов на самом деле уходит на поддержку агента. Не верьте демо, стройте дашборд.

Команда ТестОпс дала рынку то, чего обычно не хватает: не рассказ об успехах агента, а инструмент для проверки, успех ли это вообще. Повторить их подход можно за пару часов, и начать стоит с одного числа: сколько циклов доработок приходится на каждый результат вашего ИИ-агента прямо сейчас.