ИИ-агент Microsoft обошёл GitHub Copilot в генерации тестов: 92% задач против 79%

Команда .NET в Microsoft опубликовала инструмент под лицензией MIT (свободная лицензия, позволяющая использовать, менять и распространять код без ограничений) в репозитории dotnet/skills. Это не облачный сервис, а набор навыков для вашего локального ИИ-агента: код не уходит на сторонние серверы. Релиз важен для разработчиков в России, потому что агент работает с произвольными языками, фреймворками и структурами проектов, анализируя репозиторий перед написанием тестов.

Как агент исследует код перед тем, как писать тесты?

Юнит-тест (unit test) проверяет маленький кусочек программы отдельно от остального кода. Проблема с обычными генераторами тестов проста: вы пишете промпт «сгенерируй тесты», а ИИ не знает, какой в проекте фреймворк для тестирования, куда положить файл и какие проверки использовать.

code-testing-generator решает это через конвейер «Исследование, план, реализация» (Research-Plan-Implement, RPI):

• Исследование. Агент ищет в репозитории код без тестов, определяет язык и фреймворк, читает уже существующие тесты, чтобы перенять стиль, и находит реальные команды сборки и запуска. Последнее особенно ценно: бывает, тесты собираются на машине разработчика, но в CI-системе (система непрерывной интеграции, автоматический конвейер проверки кода) никогда не запускаются, потому что их забыли зарегистрировать.
• Планирование. Агент выбирает одну из трёх стратегий: прямая запись (пишет и сразу проверяет), один проход или итеративный режим для крупных задач и целей по покрытию.
• Реализация. Агент пишет тесты, но никогда не трогает рабочий код. Он избегает тестов, которые вызывают внешние URL, занимают сетевые порты или зависят от таймингов.

Где основной выигрыш?

Результаты бенчмарка показывают чёткую картину: выигрыш сосредоточен в двух сценариях.

• Размытые промпты. Когда разработчик даёт нечёткое задание вроде «напиши тесты для этого модуля», агент решил 79 из 89 задач (88,8%), а стандартный GitHub Copilot с тем же промптом и той же моделью справился с 59 (66,3%). Число провалов упало с 30 до 10.
• Тесты на конкретный дифф. Когда нужно было написать тесты именно для изменений в пул-реквесте (набор правок, предложенных к включению в основную ветку кода), агент прошёл все 15 задач, GitHub Copilot без агента не прошёл ни одной.
• Подробные промпты. Когда задание было детальным и точным, оба показали одинаковый результат: 61 из 63 (96,8%).

Агент при этом сгенерировал на 2,3% меньше тестов и оказался на 5,5% быстрее. Покрытие строк кода осталось практически одинаковым: 72,4% против 72,2%. То есть выигрыш в надёжности, а не в объёме.

На подмножестве из 45 задач на .NET модель Claude Opus 4.8 с агентом решила 43, без него 35. GPT-5.5 с агентом решила 41, без него 36.

Что делать с этим прямо сейчас?

Разработчику-одиночке или фрилансеру. Если вы пишете код и вечно откладываете тесты, потому что «времени нет», агент берёт именно эту рутину. Установка локальная, код никуда не уходит. Особенно полезно, если проект на нескольких языках: агент сам определяет фреймворк.

Небольшой команде или стартапу. Главная боль маленькой команды: некому описывать конвенции тестирования и следить за покрытием. Агент сам читает ваш репозиторий и перенимает стиль. По данным Microsoft, именно стартапы и средние команды получают наибольший выигрыш.

Автору Дзена и контент-мейкеру. Если вы не программист, прямой пользы пока нет. Но если вы пишете про технологии или обучаете аудиторию, это наглядный пример того, как ИИ-агенты перестают быть «одноразовыми отвечалками» и начинают работать конвейером: исследуют контекст, планируют, делают, проверяют.

Работающим в России. Агент опенсорсный, лицензия MIT, можно скачать и запустить локально. Ограничений по географии нет. Для работы нужен доступ к одной из поддерживаемых моделей (Claude, GPT), что в РФ требует обходных решений для API.

Скачать и проверить на своём репозитории можно уже сейчас, и это тот случай, когда лучше попробовать на реальном проекте, чем читать чужие бенчмарки.

По данным MarkTechPost