ИИ-агенты в программировании дают +30% кода, но ноль новых фич: данные 700 компаний

Исследование провели Фиона Чен и Джеймс Страттон из Гарвардского университета на агрегированных данных платформы Jellyfish, которая измеряет работу инженерных команд. До сих пор эффективность ИИ-ассистентов для кода оценивали в лабораторных условиях или по опросам. Здесь впервые взяли реальную производственную статистику и посмотрели, что происходит с конвейером разработки после внедрения ИИ-инструментов.

Что именно измеряли?

Исследователи разделили ИИ-инструменты на два типа.

• ИИ-ассистенты для кода помогают дописывать строки, которые начал человек, что-то вроде продвинутого автодополнения.
• ИИ-агенты (агентные инструменты) пишут и отправляют код самостоятельно на основе текстового промпта (запроса на естественном языке).

Для каждой из более чем 700 компаний определили момент, когда она начала использовать тот или иной тип инструмента. Затем сравнили показатели до и после внедрения, используя метод «разность разностей»: это статистический приём, позволяющий отделить эффект самого инструмента от общего тренда в отрасли.

Измеряли не абстрактную «продуктивность», а конкретные вещи: количество строк кода, число коммитов (фиксаций изменений в коде), пул-реквестов (запросов на включение нового кода в основной проект) и скорость закрытия задач в системах управления проектами вроде Jira.

Код растёт, продукт стоит на месте

• Кода стало на 30% больше. После внедрения ИИ-агентов объём генерируемого кода вырос на треть, коммитов стало на 20% больше, пул-реквестов на 23% больше.

• Выпуск реальных функций не изменился. Скорость закрытия задач (Issues) и крупных пользовательских историй (Epics) в трекерах типа Jira осталась на прежнем уровне. Разница статистически незначима.

• Узкое место: проверка кода человеком. Весь выигрыш от скорости генерации поглощается на этапе ревью. Проверка занимает больше времени, пул-реквесты чаще отправляют на доработку, рецензенты оставляют больше комментариев.

• Ни сокращения штата, ни роста выпуска. Исследователи прямо пишут: «мало свидетельств того, что фирмы увеличивают выпуск программного обеспечения или сокращают занятость» после внедрения ИИ-агентов для программирования.

• Сложность задач не изменилась. Авторы проверили, не начали ли компании ставить более крупные или сложные задачи после внедрения ИИ. Нет: состав и масштаб задач в Jira остались прежними.

Что делать с этим прямо сейчас?

Разработчикам и техническим руководителям в РФ. Если вы уже платите за GitHub Copilot, Cursor или подключаете агентные инструменты вроде Devin, не ждите автоматического роста скорости выпуска. Выигрыш появится только тогда, когда процесс ревью будет перестроен: короткие пул-реквесты, чёткие стандарты кода для ИИ, автоматические линтеры перед человеческой проверкой.

Предпринимателям, которые закладывают бюджет на ИИ-ассистентов. Рост в 30% строк кода звучит впечатляюще в презентации вендора, но на выходе это может означать ровно ноль дополнительных функций для пользователя. Спрашивайте команду не «сколько кода написали», а «сколько задач закрыли».

Авторам и маркетологам. Параллель прямая: ИИ легко генерирует объём текста, но редактура и проверка фактов никуда не деваются. Если вы публикуете на Дзене и используете нейросети для черновиков, закладывайте время на вычитку как минимум равное времени генерации.

Главный вывод для тех, кто инвестирует во внедрение ИИ: считайте не количество сгенерированного кода или текста, а число закрытых задач на выходе, потому что именно там обнаружится, заработал инструмент или просто переложил нагрузку на соседний этап.

По данным Ars Technica