Claude AI модель Fable 5 решила втрое больше задач, чем GPT: надёжность важнее пикового навыка

Исследовательская группа Epoch AI обновила лидерборд бенчмарка MirrorCode, добавив свежие результаты флагманов Anthropic и OpenAI. Бенчмарк разработан совместно с лабораторией METR и устроен необычно: модель должна переписать целую программу с нуля, не видя исходного кода. На многих других тестах эти же модели идут почти вровень, а кое-где Sol даже впереди, поэтому трёхкратный разрыв именно здесь потребовал объяснения.

Что именно проверяет MirrorCode?

Модель получает «чёрный ящик»: исполняемый файл, который можно только запускать, документацию и часть тестов. Интернет в песочнице (изолированной среде, где модель работает без доступа наружу) отключён.

Программы настоящие и сложные: потоковый редактор sed, линтер Ruff (инструмент проверки кода на ошибки), утилиты биоинформатики, интерпретаторы языков, криптографические библиотеки, алгоритмы сжатия данных.

Зачёт жёсткий: решением считается только реализация, прошедшая 100% тестов, включая скрытые, которых модель не видела. Подогнать ответы под известные тесты или собрать таблицу готовых результатов не получится. Каждую из 15 программ нужно реализовать на двух языках, каждая задача прогоняется трижды.

Почему разрыв втрое, если модели «одного класса»?

Тепловая карта результатов по отдельным задачам, которую Epoch публикует вместе с лидербордом, раскрывает механику разрыва.

• Sol умеет, но нестабилен. В его строке преобладают 50%, 33% и 17% успешных попыток. Claude AI модель Fable 5 те же задачи закрывает почти всегда: подряд идут 100% и 83%.
• Разрыв не между «умеет» и «не умеет», а между «иногда доводит до конца» и «доводит почти всегда». Когда одна попытка длится дни, включает тысячи шагов и сотни тестов, единственный проваленный крайний случай обнуляет результат целиком. На такой дистанции решает надёжность, а не разовая вспышка.
• Язык Ada обнажает разницу ещё резче. По правилам половину реализаций модели обязаны писать на Ada, редком языке из мира авионики и военных систем. Fable почти не проседает: 64% на Go против 61% на Ada, разница в три процентных пункта. У Sol потеря составляет пятую часть результата (с 24% до 19%), у GPT-5.4 почти половину (с 21% до 12%), а GPT-5.5 падает более чем втрое (с 17% до 5%).

Почему Ada важна для оценки честности теста?

Главная претензия к MirrorCode: программы в бенчмарке с открытым исходным кодом, и модели почти наверняка видели их во время обучения (обучающие данные могли содержать исходники). Это называется контаминацией, или загрязнением данных, и может завышать результаты.

Но реализаций этих программ на Ada в открытом доступе практически нет. Модели не могут «вспомнить» код, его приходится писать заново. Устойчивость Fable на Ada говорит скорее о навыке, чем о натренированной памяти.

Что это значит для вас?

Разработчику и техническому автору. Если вы выбираете модель для долгих задач с кодом, где важен конечный результат (рефакторинг, портирование, генерация модулей), данные MirrorCode показывают: Claude AI модель Fable 5 стабильнее доводит работу до конца. Но только в условиях чёткой спецификации. Для задач с размытыми требованиями бенчмарк ничего не гарантирует.

Автору Дзена и копирайтеру. Пиковая «гениальность» модели и её надёжность на длинной дистанции измеряются по-разному. Когда вы просите ИИ написать один пост, разницы можете не заметить. Когда выстраиваете цепочку из десятков шагов (серия статей, структурированный курс, обработка большого массива), сбой на любом звене ломает всё. Для таких задач стоит тестировать модель именно на устойчивость, а не на яркость разового ответа.

Маркетологу и предпринимателю в РФ. Из доступных в России моделей прямого аналога Fable нет: ни Anthropic, ни OpenAI официально не работают на российском рынке. Из отечественных сервисов для работы с кодом можно пробовать YandexGPT и GigaChat, но сопоставимых данных по длинным автономным прогонам для них пока не опубликовано.

Выбирая модель для серьёзной работы, смотрите не на рейтинг «кто решил больше задач», а на то, как часто модель доводит задачу до конца при повторных запусках: именно это показывает MirrorCode, и именно это определяет, сэкономит ИИ ваше время или потратит его впустую.

По данным Epoch AI, лидерборд MirrorCode