ИИ-агенты пишут автотесты в Cloud.ru: полтора часа вместо полудня и пойманный ложный тест

Раньше на одну задачу по тестированию у автора уходило примерно полдня с переключениями на созвоны и срочные вопросы коллег. Теперь код проверок пишут ИИ-агенты: программы на основе нейросети, которые не просто отвечают в чате, а сами изучают существующий код, дописывают нужное и возвращают готовый результат. Свою схему QA-инженер (специалист по контролю качества программ) Cloud.ru разобрал в авторской статье.

Что нового в подходе?

В основе лежит Specification-Driven Development, или SDD: разработка через спецификацию. Сначала письменно фиксируют, что именно должно работать и как это проверить, и только потом пишут код. Для организации процесса автор использует фреймворк OpenSpec, то есть готовый каркас с правилами работы.

• Задачу сначала получает отдельный агент. Он исследует её, готовит спецификацию и план реализации.
• Спецификацию и план автор проверяет сам, и только после этого начинается разработка тестов.
• Роли разделены между агентами: планирование, реализация и ревью.
• Сверху работают дополнительные механизмы проверки качества.
• Человек больше не пишет код. Его время уходит на требования, риски, проектирование проверок и разбор результата.

Почему зелёные тесты от агента могут обманывать?

Автор приводит два типичных промаха. Агент проверяет, что на неверный запрос сервер вернул код ошибки 400, но не смотрит, что написано в самом сообщении об ошибке. Или убеждается, что команда на удаление прошла, но не проверяет, исчез ли объект на самом деле.

Главный пример взят из рабочего проекта. Система публикует структуру документации в Git-репозиторий, то есть в хранилище файлов с историей изменений. Если при повторной публикации из структуры убрали раздел, соответствующий файл должен удалиться.

Агент написал тест в четыре шага: опубликовать структуру с разделами overview и setup, опубликовать её заново без setup, скачать репозиторий и убедиться, что файла setup нет. Подвох в том, что агент ни разу не проверил, был ли файл в репозитории до удаления. Наличие документа он подтверждал через запрос к сервису, а этот запрос может возвращать только описание документа, не заглядывая в сам репозиторий.

Если бы файл из-за сбоя вообще не появился, тест всё равно прошёл бы. Обратите внимание: агент-разработчик пропустил это при самопроверке, потому что разобрал логику теста, но не ставил экспериментов. Ошибку нашёл агент-ревьювер, и в тест добавили шаг, который проверяет наличие файла в репозитории перед повторной публикацией.

С появлением ИИ-агентов я практически перестал самостоятельно писать код автотестов. : QA-инженер Cloud.ru, автор статьи

Как попробовать схему у себя?

1. Поручите отдельному агенту исследовать задачу и подготовить спецификацию с планом реализации.
2. Проверьте спецификацию сами: что именно тестируем, какие состояния системы до и после.
3. Отдайте реализацию агенту-разработчику.
4. Передайте результат агенту-ревьюверу и не принимайте работу только по успешному запуску тестов.

Какими моделями пользуется автор, в материале не сказано, поэтому принцип описан без привязки к сервису. Из доступных в РФ аналогов для таких экспериментов подойдут YandexGPT и GigaChat.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Делите работу с нейросетью на два промпта (текстовых задания): один пишет текст, второй проверяет его по исходнику. Вопрос к проверяющему звучит так: «есть ли это в источнике», а не «хорошо ли написано».

Маркетологу. Отчёт «всё готово» от ИИ ещё не результат. Проверяйте реальное состояние: опубликован ли пост, работает ли ссылка, ушла ли рассылка.

Предпринимателю РФ и СНГ. Опыт описан изнутри российской облачной компании. Если вы внедряете ИИ-агентов, закладывайте время человека на постановку задачи и приёмку, а не на ручной труд.

Что чаще всего спрашивают про ИИ-агентов в тестах?

Что такое ИИ-агент простыми словами?

Это нейросеть, которой дали руки: она не советует, а сама выполняет цепочку шагов. В примере из статьи агент изучает код, пишет проверки и возвращает готовую реализацию.

Зачем нужен второй агент, если первый пишет аккуратно?

Тот, кто сделал работу, плохо видит собственные пробелы. В примере автора агент-разработчик пропустил ошибку при самопроверке, а ревьювер её нашёл.

Сколько времени экономит такая схема?

По приблизительной оценке автора, похожая задача занимает около часа-полутора вместо половины рабочего дня, причём часть работы агента идёт параллельно с другими делами. Но выигрыш даёт не скорость написания, а привычка спрашивать: что было до, что стало после и доказывает ли это проверка.