7 багов в коде, 4 нейросети: ни одна не нашла всё, но вместе справились

Считаю лид: «Один сломанный bash-скрипт с семью багами, четыре нейросети, которые чинят его вслепую, и ни одна не находит всё: разбираем пошагово, как устроить такую проверку и почему одна модель хуже коллегии.» — 31 слово, одно предложение, подлежащее и глагол, есть «почему сейчас».

Один сломанный bash-скрипт с семью багами, четыре нейросети, которые чинят его вслепую, и ни одна не находит всё: разбираем пошагово, как устроить такую проверку и собрать из частичных ответов рабочий результат.

Эксперимент, описанный ниже, проверяет на практике вопрос, который большинство разработчиков решает интуитивно: довериться одной модели, запустить несколько параллельно или отдать все варианты починки ещё одной модели для финальной сборки. Источник эксперимента, авторский тест с реальным bash-скриптом run-code.sh, показал, что каждый из этих подходов по-своему неполон, но вместе они закрывают больше, чем поодиночке.

Что понадобится?

• Сломанный скрипт для теста. Подойдёт любой bash-скрипт с реальными задачами: вызов внешнего процесса, разбор данных, вывод таблицы. В эксперименте использовался run-code.sh, обвязка вокруг Python-скрипта codegen_test.py, которая собирает результаты по списку моделей и печатает сводную таблицу.
• Доступ к нескольким языковым моделям. В первом круге использовались четыре: Claude Sonnet 5 (от Anthropic), HY3, Qwen3-Max и DeepSeek-V4-Flash. Во втором круге подключились ещё семь, включая Gemini Pro, Mistral Medium 3.5 и Nemotron-3-Super-120B. Для доступа ко многим из них подходит OpenRouter, у которого есть бесплатный тарифный план.
• Инструменты проверки. Команда bash -n для синтаксической проверки, diff для построчного сравнения с оригиналом и заглушка (stub), которая имитирует реалистичный вывод основного скрипта (статусы PASS, TEST_FAIL, BAD_JSON, SYNTAX_ERROR, RATE_LIMITED).
• Время. На два круга эксперимента с четырьмя и семью моделями уходит от одного до трёх часов, в зависимости от скорости ответов моделей.

Пошаговая инструкция

1. Подготовьте скрипт с известными багами. Возьмите рабочий bash-скрипт и убедитесь, что знаете, где в нём баги. В эксперименте их было семь, от косметических (устаревшие имена файлов в комментариях) до фатальных (сводная таблица всегда показывает нули, что бы ни произошло на самом деле). Пример одного из багов: в массиве данных OpenRouter-пресета часть строк не содержит нужных полей, и команда [ "" -gt 0 ] выбрасывает ошибку integer expression expected.

2. Составьте промпт (prompt, текстовую инструкцию для модели). Промпт должен содержать полный текст скрипта и задание: найти и исправить все баги. Не подсказывайте, сколько багов и какие. Модель должна работать «вслепую».

Ниже — bash-скрипт run-code.sh. В нём есть баги: от косметических до фатальных.
Найди все баги, объясни каждый и выдай исправленный скрипт целиком.

[полный текст скрипта]

1. Запустите первый круг: каждая модель чинит независимо. Отправьте одинаковый промпт в каждую из выбранных моделей. Каждая работает в своём «пузыре» и не знает, что делают остальные. Сохраните все ответы отдельными файлами.

2. Проверьте каждый результат по четырём критериям. Для каждого исправленного скрипта выполните:

# Построчное сравнение с оригиналом
diff original.sh fixed_by_model_A.sh

# Синтаксическая проверка
bash -n fixed_by_model_A.sh

# Запуск с заглушкой, имитирующей реалистичные статусы
./fixed_by_model_A.sh --stub

# Запуск на заведомо битых данных (проверка, сыплются ли ошибки)
./fixed_by_model_A.sh --broken-preset 2>&1 | grep "integer expression expected"

1. Составьте таблицу результатов первого круга. Отметьте, какие из семи багов нашла каждая модель. В эксперименте ни одна модель не закрыла все семь. При этом слепые зоны у них не совпали: то, что пропустила одна, нашла другая.

2. Запустите второй круг: сборка лучшего из всех вариантов. Передайте все четыре исправленных скрипта новой модели (или нескольким) с таким промптом:

Ниже — четыре варианта исправления одного и того же bash-скрипта,
сделанные четырьмя разными моделями независимо друг от друга.
Для каждого бага выбери тот фикс, который действительно лучший,
из какого бы источника он ни пришёл. Собери выбранное в один скрипт.
Укажи, какой фикс откуда взят и почему выжил.

[четыре скрипта]

1. Сравните сборки между собой. В эксперименте семь моделей выполняли эту сборку, и результаты разошлись: не всегда та модель, чья сборка выглядит убедительнее, объективно собрала лучше. Скрипт, который «просто работает», ещё не доказательство, что модель нашла всё сломанное. Скрипт, который объясняет родословную каждого фикса (откуда пришёл и почему выжил), даёт куда более надёжный результат.

Что делать с этим прямо сейчас?

Разработчику (даже если пишете не на bash). Метод двух кругов работает для любого кода: первый круг ловит баги в коде, второй собирает лучшее. Вместо спора «Claude или GPT» запустите обе модели параллельно и отдайте результаты третьей для сборки. Затраты на API минимальны, выигрыш в покрытии багов в коде измерим.

Автору Дзена или контент-маркетологу. Тот же принцип переносится на тексты: дайте двум-трём моделям один и тот же черновик на вычитку, потом соберите замечания в один список. Модели видят разное: одна поймает логическую дыру, другая заметит стилистику, третья найдёт фактическую неточность.

Предпринимателю в РФ. Из моделей, упомянутых в эксперименте, через OpenRouter доступны DeepSeek-V4-Flash, Qwen3-Max и Nemotron, причём часть из них на бесплатном тарифе. Из российских инструментов для аналогичной проверки можно попробовать YandexGPT и GigaChat, хотя для bash-скриптов они пока слабее специализированных моделей.

Финальная мысль: если вы до сих пор отправляете код одной нейросети и принимаете первый ответ как финальный, попробуйте хотя бы раз прогнать тот же промпт через две-три модели и сравнить результаты построчно. Разница в слепых зонах удивит вас быстрее, чем любой бенчмарк.