Тест ARC AGI 2: eval в 2,25 раза крупнее train, локальные замеры солверов завышены

Бенчмарк ARC-AGI-2 (набор головоломок для проверки абстрактного мышления ИИ) состоит из двух публичных файлов: train на 1000 задач и eval на 120. Документация ARC Prize прямо предупреждает: train проще, eval калиброван под закрытый тест. Однако количественного сравнения именно второго поколения бенчмарка до этого разбора не публиковалось. Источник исследования: автор замерил шесть структурных признаков по демонстрационным парам обоих наборов, проверил расхождение статистическими критериями и выложил CSV с подмножеством train, повторяющим структуру eval.

Шесть осей расхождения и почему средних недостаточно

• Площадь выходной сетки. Медианная задача train занимает 100 клеток на выходе, у eval их 225. Eval буквально крупнее, и солвер, натренированный на мелких сетках, не увидит этого по средним.

• Число тестовых входов. Самый резкий разрыв из всех шести (p = 3.95e-30 по критерию Манна-Уитни). Два и более тестовых входа требуются у 6,9% задач train и у 40,8% задач eval. Медианы при этом совпадают (обе равны единице), разница живёт в форме распределения, а не в центре.

• Число цветов и площадь входа. По обеим осям eval разноцветнее и крупнее. Расхождение подтверждено критерием Колмогорова-Смирнова (KS) с запасом.

• Число демонстрационных пар. Единственная ось, где eval мельче: в среднем 2,98 пары против 3,23 у train. Критерий KS здесь на грани (0,125 при пороге 0,131), но Манн-Уитни отвергает совпадение (скорректированное p = 2,83e-03 по методу Холма).

• Все шесть осей вместе. Поправка на множественные сравнения по методу Холма при уровне 0,05 сохраняет значимость по всем шести признакам, включая самый слабый.

• Структура, а не сложность. Автор честно оговаривает: его индекс проверен против человеческих решений (данные H-ARC, 1393 участника) и проверку не прошёл. Измерено расхождение формы задач, а не их трудности для человека.

Как попробовать?

1. Скачайте файлы arc-agi_training_challenges.json и arc-agi_evaluation_challenges.json из репозитория ARC-AGI-2 на GitHub. Отпечатки (sha256) для воспроизводимости приведены в исследовании, убедитесь, что ваши файлы совпадают: наборы обновлялись в мае 2025.

2. Загрузите CSV с подмножеством train, подобранным под eval по структуре. Файл лежит в репозитории автора исследования. Это готовая выборка, на которой локальный бенчмаркинг даёт оценку, близкую к реальному eval.

3. Запустите свой солвер (решатель задач ARC) на этом подмножестве вместо случайной выборки из train. Сравните результат с прежними замерами: если разница заметная, ваш прогресс был завышен.

4. Повторите расчёт признаков по коду из репозитория, если хотите убедиться в цифрах самостоятельно. Обратите внимание на определение площади: произведение медианной высоты на медианную ширину не равно медиане площадей, расхождение возникает у 23,5% задач train и 35,0% eval.

Есть ли российский аналог тест ARC AGI 2?

Прямого аналога ARC-AGI-2 в российской ИИ-экосистеме нет. YandexGPT и GigaChat проходят другие бенчмарки (MMLU, русскоязычные тесты), но задачи на абстрактное визуальное мышление в формате ARC в публичных русскоязычных наборах пока не представлены. Для автора или предпринимателя из РФ это означает: если вы оцениваете рассуждающие способности ИИ, ARC-AGI-2 остаётся единственным открытым бенчмарком такого типа, и работать с ним придётся на английском.

Частые вопросы

Почему нельзя просто взять случайную выборку из train?

Потому что train и eval лежат в разных распределениях по всем шести измеренным осям. Случайная выборка из train будет содержать задачи с мелкими сетками и одним тестовым входом, тогда как eval требует крупных сеток и множественных тестовых входов у 40,8% задач. Солвер, показывающий хороший результат на train, может провалиться на eval просто из-за несовпадения структуры.

Это значит, что ARC-AGI-2 плохо устроен?

Нет. Документация ARC Prize прямо указывает, что train проще и не калиброван, а eval соответствует закрытому тесту. Расхождение заложено намеренно: train нужен для обучения и экспериментов, eval для оценки. Проблема не в бенчмарке, а в том, что разработчики солверов используют train как прокси для eval, не учитывая структурный сдвиг.

Нужны ли технические знания, чтобы воспользоваться подмножеством?

Минимальные. CSV с подмножеством это просто список идентификаторов задач из train. Если вы уже запускаете солвер на задачах ARC, достаточно отфильтровать задачи по этому списку. Код для воспроизведения расчётов открыт, но для практического использования подмножества он не обязателен.

Для тех, кто строит или тестирует солверы ARC, вывод один: замените случайную выборку из train на калиброванное подмножество и пересчитайте свои метрики, скорее всего, реальный прогресс окажется скромнее, чем казалось.