ИИ-агенты и программирование: три из четырёх условий замены джуниоров провалены

Каждый крупный релиз модели сопровождается ростом баллов в тестах на написание кода. Из этого роста делают прямой вывод: ИИ-агенты программирования вот-вот заменят начинающих разработчиков. Аналитик, автор разбора на платформе Napkin Math, проверил этот вывод иначе: не «заменят или нет», а «что должно стать правдой, чтобы замена сработала». Из четырёх необходимых условий три не выполнены. Четвёртое выполняется, но совсем не так, как ожидали оптимисты.

Что именно проверяли?

Автор сформулировал четыре условия, все из которых должны выполняться одновременно, чтобы ИИ-агенты программирования действительно вытеснили junior-разработчиков. Метод простой: берётся каждое условие и проверяется лучшими доступными данными.

• Условие 1. ИИ-агент должен надёжно справляться с задачами той длины, которую реально получает джуниор.
• Условие 2. Бенчмарк (тест производительности модели) должен измерять именно ту работу, которую делает человек.
• Условие 3. Стоимость проверки того, что выдал агент, должна быть ниже стоимости делегирования задачи человеку.
• Условие 4. Компании должны быть готовы сломать собственный кадровый конвейер, через который растут будущие senior-инженеры.

Три условия, которые провалились

Агент не тянет реальную длину задачи. Организация METR (занимается оценкой рисков ИИ) замеряет «горизонт времени»: длину задачи, на которой модель справляется в половине случаев. Этот горизонт растёт. Но при пороге 80% успешности горизонт резко сжимается. На задачах, которые человек решает дольше четырёх часов, модели справляются менее чем в 10% случаев.

Ключевой нюанс, который почти никто не цитирует: сами авторы METR указывают, что их задачи намеренно самодостаточны и чётко сформулированы. Двухчасовая задача в бенчмарке означает «два часа для человека без контекста», а не для инженера, знающего кодовую базу. Первые полгода работы джуниора почти целиком уходят на освоение контекста: какой сервис за что отвечает, зачем существует та или иная абстракция (слой упрощения в коде), кого спросить. Бенчмарк измеряет ровно ту часть работы, из которой убрали то, что делает её трудной.

Бенчмарк не измеряет реальную работу. В феврале 2026 года OpenAI прекратила отчитываться по SWE-bench Verified и рекомендовала другим поступить так же. Причины: при аудите 27,6% датасета (набора данных для тестирования) обнаружилось, что минимум 59,4% проверенных задач содержат дефектные тесты, отсекающие правильные решения. Кроме того, выявлена контаминация (загрязнение обучающих данных): модели воспроизводили точные «золотые» патчи (эталонные решения) и дословные описания задач, что указывает на утечку ответов в тренировочный набор.

На более сложных и менее загрязнённых наборах, таких как SWE-bench Pro, результаты моделей падают резко. Это не значит, что бенчмарки бесполезны. Это значит конкретнее: число, которым два года обосновывали ненужность джуниоров, отозвала сама лаборатория, которая его создала.

Проверка дороже делегирования. METR провела рандомизированный контролируемый эксперимент: 16 опытных разработчиков опенсорса (открытых проектов), 246 реальных задач в их собственных репозиториях (хранилищах кода). ИИ включали или выключали случайным образом. Запись экранов.

Разработчики прогнозировали ускорение на 24%. После работы оценили себя на 20% быстрее. Реальный замер: на 19% медленнее. Люди ошиблись даже в направлении эффекта.

Выборка мала и специфична: опытные разработчики на зрелых проектах, инструменты начала 2025 года. Но разрыв между ощущением и реальностью устойчив. Генерация кода подешевела, проверка нет. Узкое место теперь время senior-инженера на ревью, и оно не масштабируется.

Четвёртое условие уже выполняется?

Стэнфордская лаборатория цифровой экономики (Stanford's Digital Economy Lab) отслеживает данные по зарплатным ведомостям ADP, охватывающие примерно каждого шестого работника в США. Их исследование показывает: занятость людей 22-25 лет в профессиях с высокой экспозицией к ИИ, включая разработку ПО, уже резко расходится с занятостью старших возрастных групп в тех же профессиях.

Компании начинают сокращать найм джуниоров не потому, что агенты справляются с их работой, а потому, что верят в скорую замену. Условия 1-3 описывают, работает ли замена технически. Условие 4 описывает, будут ли компании пытаться, невзирая на ответ.

Что делать с этим прямо сейчас?

Авторам Дзена и копирайтерам. Те же три проблемы: контаминация, дефекты тестов, разрыв с реальностью, касаются любых бенчмарков, которыми измеряют качество ИИ-текстов. Когда вам показывают «модель пишет на 90% как человек», спрашивайте: что именно измерялось, на каких данных обучали, не попали ли ответы в обучающую выборку.

Маркетологам. Ключевая находка для вас не про код, а про разрыв восприятия: люди уверены, что ИИ ускорил их работу, хотя замер показывает обратное. Прежде чем отчитываться «внедрение ИИ дало рост эффективности», измерьте результат, а не ощущение.

Предпринимателям РФ и СНГ. Из доступных в России инструментов для ИИ-агентов программирования работают GigaCode от Сбера и ряд решений на базе открытых моделей. Вывод из разбора прямой: не сокращайте найм стажёров, рассчитывая на агентов. Senior-инженеры, которые вам нужны через три года, сейчас должны откуда-то взяться. Сломав входную ступень, вы не экономите, а создаёте дефицит, который агенты пока не закрывают.

Компании уже режут найм джуниоров, опираясь на цифры, которые сама OpenAI признала ненадёжными. Если вы управляете командой, перечитайте условия 1-3 и честно ответьте: выполнено ли хоть одно в вашей кодовой базе, с вашими задачами, с вашим ревью. Скорее всего, пока нет.

По данным Napkin Math