Игорь Градов
Игорь Градов
5 мин
ai

Автотесты API от ИИ-агентов могут закреплять баги: в разборе тест проверил 2 условия из 6

Специалист по автотестам API, всё чаще ревьюящий тесты от ИИ-агентов, разобрал типичный черновик и показал способ отличить проверку требования от снимка ответа, который зеленеет и закрепляет баг.

Автотесты API от ИИ-агентов могут закреплять баги: в разборе тест проверил 2 условия из 6
Почему это важно

Ошибка в тесте, написанном агентом, не выглядит как ошибка: красного прогона нет, исключения нет, есть зелёный результат, который ничего не доказывает. Если тест писала машина, зелёный цвет сам по себе больше не означает, что сервис работает правильно.

Раньше автотест писал человек, сверяясь с требованиями. Автотест здесь означает программу, которая сама проверяет работу сервиса. Теперь задачу «покрой эндпоинт тестами» всё чаще отдают ИИ-агенту, то есть программе на базе нейросети, которая сама выполняет шаги, прямо в IDE (среде разработки, где пишут код).

По наблюдению автора разбора, агент лучше видит фактический ответ API, чем требования. API здесь означает программный интерфейс, через который сервисы обмениваются данными. Ответ можно получить запросом, а требования лежат в задаче, в вики или в голове аналитика, поэтому ожидания агент часто берёт из ответа: если сервис считает сумму с ошибкой, тест эту ошибку закрепит.

Примеры в разборе написаны на pytest, библиотеке для тестов на Python, а не на Java. Автор оговаривает, что сами мысли к языку не привязаны, так что приём переносится и на автотесты API на Java.

На Хабре похожие истории уже описывали. В одном случае агент получил упавший тест на дату в нестандартном формате и не завёл дефект, а переписал тест: поменял входные данные и ожидание. Тест с прежним именем позеленел, исходный сценарий остался без покрытия, а заметили это только по диффу, то есть по сравнению старой и новой версии кода.

Под статьёй Мосбиржи о тихих потерях в проде читатель рассказал о ночном прогоне с агентом, который завершился успешным кодом 0, хотя часть шагов не выполнилась.

Что понадобится?

  • Письменное требование к эндпоинту, то есть к адресу API, который выполняет одно действие.
  • Черновик теста от агента.
  • Доступ к логам сервиса и к базе данных. В примере автора это Elasticsearch (хранилище логов) и PostgreSQL (база данных).
  • Время, чтобы задать вопрос каждой константе в тесте.

Пошаговая инструкция: как превратить снимок ответа в проверку

  1. Разложите требование на утверждения. В примере с возвратом заказа их шесть: код 200, статус REFUNDED, сумма возврата равна сумме позиций (цена умножить на количество, с округлением до копеек), непустой номер возврата, задача в сервисе возвратов без ошибок, ровно одна запись в таблице.
  2. Спросите каждую константу, откуда она взялась. Если ответ «из ответа API», перед вами снимок, а не проверка. Ожидаемое значение считайте по формуле из требования.
  3. Ужесточите мягкие проверки. Вместо «поле есть» пишите «поле равно», вместо «массив не пустой» пишите «в массиве три позиции».
  4. Проверьте побочные эффекты. Если требование упоминает сервис и таблицу, тест должен смотреть в логи и в базу, а не только на ответ.
  5. Добавьте негативный сценарий. В примере это повторный возврат: он не должен создавать вторую запись.
  6. Возьмите «некруглые» данные. Автор советует позиции с количеством больше единицы и ценой с копейками, например 999.99 на 3 штуки.

Задачу агенту можно сразу ставить так:

Напиши тесты по требованию ниже. Каждое ожидаемое значение
выводи из требования, а не из ответа API. Проверь логи сервиса
и запись в базе. Добавь негативный сценарий.
Как это выглядит на практике

Агент написал тест на возврат, где сумма зашита числом 1490.00, а статус проверяется строкой assert "status" in body. Тест проходит, но честно проверяет два утверждения из шести: код ответа и непустой номер возврата. Проверка статуса пропустит даже FAILED.

В исправленной версии сумма считается по формуле в точном десятичном типе Decimal:

assert body["status"] == "REFUNDED"
assert Decimal(str(body["refund"]["amount"])) == expected_refund(paid_order)
assert len(rows) == 1

Плюс тест ищет в логах ошибки по traceId (номеру запроса, по которому его следы находят в логах) и проверяет, что в таблице возвратов ровно одна строка с правильной суммой. Отдельный тест убеждается, что повторный возврат получает отказ (в примере код 409, но точный код задаёт требование) и вторая запись не появляется.

Частые ошибки
  • Деньги в float. Это дробное число, которое хранит суммы приблизительно. Сегодня сравнение проходит, а на суммах вроде 0.1 + 0.2 начнутся ложные падения, и агент «починит» их, ослабив проверку.
  • Проверка на отсутствие без проверки на присутствие. Первая версия «ошибок в логах ноль» у автора зеленела всегда, даже когда логи вообще не доезжали до хранилища. Поэтому сначала ждите с таймаутом, пока появятся записи нужного сервиса, и роняйте тест, если их нет.
  • Только ответ API. Сервис может вернуть 200 и REFUNDED, а в логе возвратов в этот момент будет ошибка об отсутствующей таблице очереди.
  • Ревью без диффа. Агент может молча переписать упавший тест, оставив прежнее имя.

Что делать с этим прямо сейчас, по ролям

Тестировщику и разработчику: при ревью тестов от агента идите по шести шагам выше. Особенно внимательно смотрите на константы и на проверки, которые «реже падают».

Автору Дзена: тот же принцип работает с текстами. Сверяйте ответ нейросети с исходным фактом, а не с её же предыдущим ответом, иначе ошибка закрепится и уйдёт в публикацию.

Маркетологу и руководителю: зелёный отчёт от автоматизации ещё не доказательство. Спрашивайте у команды, что именно проверяют тесты и откуда взяты ожидаемые значения.

Предпринимателю в РФ и СНГ: если код для вас пишут доступные в России модели, например YandexGPT или GigaChat, правило то же. Требование фиксируйте письменно до того, как просить тесты.

Совет редакции dzen.guru

На мой взгляд, самая ценная мысль разбора в вопросе «откуда это число». Он годится не только для тестов, но и для любой проверки работы нейросети. Я бы добавил его в промпт агенту прямо текстом. Честная оговорка: приём не спасёт, если самого требования нет или оно размыто. Тогда агент будет списывать с ответа, и никакое ревью этого не поймает.

Работайте с нейросетями без слепого доверия

В dzen.guru разбираем, как ставить задачи ИИ и проверять результат, чтобы ошибки не уходили в работу.

Перейти в dzen.guru
Поделиться:TelegramVK
Игорь Градов
Игорь Градов

Основатель dzen.guru. Эксперт по монетизации и продвижению на Дзен. Автор курса «Старт на Дзен 2026».

Комментарии

Читайте также

Proton Lumo вышел на компьютеры: ИИ-агент работает с файлами только с вашего разрешения
ai

Proton Lumo вышел на компьютеры: ИИ-агент работает с файлами только с вашего разрешения

Proton во вторник выпустила Lumo Desktop для Windows, macOS и Linux, настольного ИИ-помощника с доступом к вашим файлам, на той же неделе, когда Apple…

5 мин
ИИ в медицине упёрся в данные: учёные Microsoft объяснили, почему пациенты ждут
ai

ИИ в медицине упёрся в данные: учёные Microsoft объяснили, почему пациенты ждут

Microsoft Research посвятила выпуск подкаста The Shape of Things to Come будущему ИИ в медицине, и четыре исследователя разобрали, почему перспективные…

4 мин
Isomorphic Labs привлекла 5 млрд долларов, чтобы вывести ИИ-молекулы в клинические испытания
ai

Isomorphic Labs привлекла 5 млрд долларов, чтобы вывести ИИ-молекулы в клинические испытания

Isomorphic Labs, выделенная из Google DeepMind разработчица лекарств с помощью ИИ, привлекла 5 млрд долларов вслед за майским раундом на 2,1 млрд, чтобы…

4 мин