ИИ плохо писал на COBOL, но GPT-6.1 переносит код с точностью 97,9%: новый бенчмарк OpenAI

OpenAI выложила открытый бенчмарк MultiLangBench на GitHub под лицензией Apache 2.0 и отдельно привела результаты второго, закрытого теста на перенос старого COBOL-кода. Ещё в феврале конкурирующая Anthropic заявила, что Claude Code берёт на себя документирование и разбор устаревшего кода, после чего акции IBM упали на 13,2%. Теперь в ту же область заходит OpenAI, но уже с конкретными цифрами тестов.

Почему нейросети исторически плохо справлялись с COBOL?

Модели учатся на открытом коде и обсуждениях в интернете. Открытого кода на COBOL критически мало: большая часть банковских программ никогда не покидала стен компаний. Это называют малоресурсностью (low-resource): язык важен, но примеров для обучения почти нет.

Независимые замеры подтверждают проблему. В апрельской статье о модели COBOL-Coder модель GPT-4o писала на COBOL компилируемый код в 41,8% случаев, а правильный с первой попытки лишь в 16,4%. Открытые модели CodeLlama, StarCoder2 и CodeGemma почти не выдавали программ, которые хотя бы компилируются. Перевод с Java на COBOL у универсальных моделей был близок к нулю.

Для автора Дзена или маркетолога аналогия такая: представьте, что вы просите нейросеть писать тексты на языке, по которому в интернете есть три учебника и ни одного форума. Результат будет соответствующий.

MultiLangBench: что именно проверяют?

Первый тест, MultiLangBench, проверяет модели на большой задаче. Модель должна с нуля написать движок базы данных, совместимый с SQLite 3.40.1, на одном из 20 языков. Список включает и привычные C, Python, и «редкие» COBOL, Fortran, Zig, и даже Lean (язык математических доказательств, то есть язык, на котором пишут формальные математические утверждения и проверяют их компьютером).

Условия строгие:

• Интернета нет, все следы SQLite из окружения удалены
• У модели только документация
• Готовая программа получает файл базы и SQL-запрос
• Результат проверяют настоящей SQLite
• Из 51 тысячи тестов OpenAI переделала 24 тысячи, для оценки рекомендует 272

Без работающей программы тест не пройти, поэтому схитрить здесь сложнее, чем в задачах с коротким ответом.

Цифры: рывок от 10% до 87%

По данным OpenAI, в среднем по 20 языкам GPT-6 Astra прошла 87,4% тестов, прошлая GPT-5.6 Sol лишь 26,8%. Результаты по отдельным языкам:

• Fortran: с 21,4% до 83,5%
• OCaml: с 25,6% до 85,8%
• Visual Basic: с 27,5% до 89,4%
• COBOL: с 10,9% до 72,1%

Больше 83% модель Astra набирает на 19 языках из 20. Исключение, COBOL: рывок огромный, но он так и остался самым трудным языком в наборе.

Бюджетная модель GPT-6 Luna набрала в среднем 40,3%, что больше GPT-5.6 Sol, при стоимости около $0,77 за попытку против $3,48 у GPT-5.6 Sol (оценка OpenAI).

Перенос COBOL-кода: почти 98%, но с оговорками

Второй тест ближе к реальной работе. Модель переносит программу с COBOL на C++, Java, Kotlin, Python или Rust так, чтобы результат побайтово совпал с оригиналом: перенос засчитывают только при прохождении всех тестов.

• GPT-5.6 Sol: 5,4% успешных переносов
• GPT-6.1 Sol (низкий уровень рассуждений): 86,6%, при этом на 39% дешевле предыдущей модели
• GPT-6.1 Sol (повышенный уровень рассуждений): 97,9%

За счёт чего выросли результаты, OpenAI не объясняет. В посте нет ни слова о данных, синтетических примерах или методах обучения. Только общая фраза: отзывы разработчиков и корпоративных клиентов помогают решать, чему учить модели.

Где подвох: перенести программу и перенести систему не одно и то же

Набор для миграции (переноса) COBOL закрыт: неизвестно, сколько в нём программ, какого они размера и откуда взяты. Поэтому 97,9% пока нельзя ни проверить, ни повторить. Сравнения с Claude или Gemini нет, только со старыми моделями самой OpenAI.

OpenAI отдельно предупреждает о рисках реальной миграции. Пример из поста: арифметика с фиксированной точкой в COBOL по умолчанию отбрасывает лишние знаки после запятой, если программист явно не попросил округлить. Перенесённая программа, которая округляет автоматически, отработает без единой ошибки и начислит другие суммы. Для банка «другие суммы» означают неверные начисления на миллионы счетов.

Августовский препринт SWE Refactor Bench показывает масштаб проблемы: при переносе целых репозиториев (не отдельных программ) удачными оказались 28 попыток из 520, то есть 5,4%. На переписывании кода с одного языка на другой средний балл составил 5,6 из 100. Это тест моделей прошлого поколения (лучший результат у Claude Opus 5), но вывод общий: переписать одну программу и перенести работающую систему из десятков связанных программ, баз и бизнес-правил это принципиально разные задачи.

Что делать с этим прямо сейчас, по ролям?

Автору Дзена, копирайтеру. Если вы пишете про технологии, финансы или госсектор, тема модернизации COBOL-систем даёт материал с конкретными цифрами и живым конфликтом: старые системы работают, но специалистов по ним всё меньше. Это готовый сюжет, который понятен аудитории 50+ (многие помнят банкоматы, которые «зависают»).

Маркетологу, предпринимателю. Если ваш бизнес зависит от банковского процессинга или государственных систем, стоит понимать: их ядро написано на COBOL, и сейчас появляется реальный инструментарий для обновления. В России подобная модернизация пока почти не обсуждается публично, хотя банковские и страховые системы с советским и ранним постсоветским наследием существуют. Тесты OpenAI недоступны для проверки, GPT-6.1 Sol и GPT-6 Astra пока не имеют открытого доступа в РФ, но следить за динамикой стоит.

Из доступных в РФ инструментов для работы с кодом можно отметить YandexGPT и GigaChat, хотя их возможности для «редких» языков программирования пока никто публично не тестировал на подобных задачах.

Переписать программу нейросети научились. Доказать, что новая система считает деньги так же, как старая, пока предстоит людям, и об этом предупреждает сама OpenAI. Узкое место модернизации COBOL сместилось от «модель не умеет» к «кто проверит результат», и для банков с десятилетиями непрозрачного кода это пока вопрос без быстрого ответа.