Нейросеть для кода проходит тесты, но оставляет дыры: разбор на реальных функциях Python

Фрилансер с опытом в бэкенд-разработке, ТГ-ботах и интеграциях с ИИ опубликовал на Хабре разбор реальных функций из известных опенсорс-проектов. Он сам ежедневно работает через Claude Code и строит на нём весь процесс. Но именно поэтому ему было важно найти системный предел: где нейросеть для кода стабильно проигрывает живому инженеру и почему это не исправляется промптом (запросом к модели на естественном языке).

Контекст прост: рынок фриланса в России залили так называемые «вайб-кодеры», люди без инженерного бэкграунда, которые генерируют код целиком через нейросеть. Цены на базовые проекты просели. Но вопрос цены вторичен. Главный вопрос: а код-то рабочий по-настоящему?

Почему «работает» не значит «рабочий»?

Автор предлагает аналогию, которую поймёт каждый. Тексты от нейросети мы уже научились узнавать: бесконечные триколоны, фразы вроде «это не просто X, это Y», тяжёлые вводные конструкции. Грамматически безупречно и при этом абсолютно пусто. Текст подходит под любой товар, не утверждает ничего проверяемого, не называет ни одной конкретной цифры.

Живой копирайтер пишет конкретику: сколько часов держит зарядка, за сколько секунд подключается, что слышно, а что нет. И называет недостаток, потому что честность и есть доверие. Нейросеть не отказывает никогда.

В коде происходит то же самое, но это спрятано. Плоскость текста видит любой читатель. Плоскость кода спрятана за зелёной галочкой тестов. Её видит ровно один человек, инженер, умеющий читать код. А вайб-кодер именно этого человека из процесса убрал.

Что понадобится

• Любая нейросеть для написания кода на Python: ChatGPT, Claude, или доступные в РФ YandexGPT, GigaChat
• Реальная функция из опенсорс-проекта для сравнения (автор берёт из Werkzeug, CPython)
• Наивный промпт, то есть запрос, который реально способен сформулировать человек без инженерного опыта
• 30 минут на проверку одного примера

Пошаговая инструкция: как увидеть разницу самому

1. Возьмите реальную функцию из проверенного опенсорс-проекта. Автор берёт secure_filename из Werkzeug (ядро Flask, популярного веб-фреймворка на Python). Функция делает из имени файла безопасное имя для сохранения на диск.

2. Сформулируйте наивный промпт, как это сделал бы человек без опыта. Например:

Сделай безопасное имя файла на Python

Именно так, без уточнений про Windows-устройства, Unicode, путевые разделители. Потому что вайб-кодер не может попросить то, о существовании чего не знает.

1. Сравните результат нейросети с оригиналом. Нейросеть выдаёт короткую функцию, которая запускается. Но при проверке граничных случаев:

2. secure_filename(".."): настоящая функция вернёт пустую строку, наивная версия оставит .., то есть ссылка на родительскую папку выживает. Это дыра в безопасности.

3. secure_filename("CON.txt") на Windows: настоящая даст _CON.txt, наивная оставит зарезервированное имя устройства.

4. secure_filename("naïve.txt"): настоящая приведёт к ASCII, наивная оставит юникод-символы, потому что функция isalnum() в Python пропускает юникод-буквы.

5. Повторите с функцией посложнее. Автор берёт lru_cache из стандартной библиотеки CPython (механизм кэширования, когда результат вычисления сохраняется, чтобы не считать заново). Здесь разница уже менее очевидна визуально, но критична для производительности и многопоточности.

6. Зафиксируйте паттерн. Главный тезис автора: разрыв между кодом опытного разработчика и кодом вайб-кодера, пропущенными через одну и ту же нейросеть, это в основном разрыв в промпте. Несущие инженерные решения не попадают в запрос, потому что для специалиста они очевидны и «молчаливы».

Что делать с этим прямо сейчас, по ролям

Автору Дзена или копирайтеру. Аналогия с текстами напрямую к вам: нейросеть выдаёт гладкий, но пустой текст, который подходит «под всё». Если вы заказываете код для своего сайта или бота у фрилансера, спросите, делал ли он ревью (проверку) сгенерированного кода вручную. Это маркер отличия специалиста от вайб-кодера.

Маркетологу. Если вы заказываете разработку чат-бота, интеграции с CRM или любого инструмента на Python, закладывайте в бюджет этап код-ревью отдельным специалистом. Экономия на этом этапе оборачивается расходами на поддержку.

Предпринимателю в РФ. Просевшие цены на фриланс-разработку выглядят привлекательно, но дешёвый код без инженерного надзора это техдолг (накопленные проблемы в коде, которые придётся исправлять позже). Нейросеть для кода остаётся инструментом, а не заменой специалиста. В России доступны Claude (через VPN), YandexGPT и GigaChat, но любая из них требует квалифицированного оператора.

Автор разбора точно формулирует проблему: вайб-кодер покупает не код, а видимость работающей системы, и отдаёт наружу единственное суждение, которое сам выполнить не способен. Пока нейросеть для написания кода на Python остаётся инструментом в руках специалиста, она ускоряет работу. Когда она становится единственным участником процесса, результат предсказуем: демо работает, продакшен горит.