Преемник теста ARC AGI 2: лидеры взяли до 25 очков против 7 за счёт скорости модели

Автор разбора писал его сам, без помощи ИИ, сразу после финиша, пока впечатления свежие. Это было его первое соревнование такого рода. Данные пока только по публичной доске лидеров, окончательные результаты обещают примерно через месяц, так что шестое место ещё может сдвинуться.

В чём суть конкурса ARC-AGI-3?

В названии ARC-AGI спрятана аббревиатура AGI, общий искусственный интеллект, то есть ИИ, который справляется с незнакомыми задачами без подсказок. Kaggle устроен как площадка соревнований по машинному обучению. Участникам нужно было написать лучшего ИИ-агента (программу, которая сама делает шаги в задаче), чтобы он проходил игры в стиле 8 бит.

Условия выглядели так:

• одна отправка решения в день, расчёт идёт 9 часов;
• машина с видеокартой G4, 96 ГБ видеопамяти и 180 ГБ оперативной памяти;
• каждому участнику Kaggle дал 30 часов такой же машины для экспериментов, но без интернета;
• три этапа (первый, второй и финальный) с интервалом примерно в месяц;
• денежные призы лидерам каждого этапа, но только тем, кто откроет своё решение для всех.

По словам автора, таких ресурсов хватает, чтобы запустить большую языковую модель приличного уровня. Ближе к концу почти все участники перешли на Qwen3.8 Next Flash. Соперники были сильные: третье место заняла команда Kaggle Grandmaster от Nvidia.

Про предыдущий тест ARC AGI 2 автор разбора не пишет, весь его текст посвящён третьему выпуску и играм.

Аргументы за: выигрывает скорость, а не изобретательность

Лучший агент первого этапа был простым. Модели передавали картинку игрового поля и его же текстовую схему из символов ASCII, ведь модель мультимодальная, то есть понимает и текст, и изображения. Действовала она через песочницу Python, изолированную среду для запуска кода, где можно было анализировать поле или делать ходы.

Автор потратил первый месяц на надстройки поверх этой схемы. Вот что он пробовал:

• два агента играют параллельно, а третий, судья, выбирает лучший ход;
• разные цветовые схемы: выше контраст, рамки, палитры для дальтоников;
• разное число пикселей на логический блок картинки;
• агент-«фотограф», который ведёт альбом механик игры со скриншотами и подписями;
• агент, который программно строит модель мира.

Итог автора: всё либо на уровне шума, либо заметно хуже. Прибавку дала только скорость. Когда вышла Qwen3.8 Next Flash, модель из 512 «экспертов» (кусков весов, из которых на каждом шаге подключаются 10 самых подходящих), автор по совету чат-бота Claude отрезал 112 экспертов, оставив 400.

При 10 параллельных партиях скорость выросла примерно с 300 до 500 токенов в секунду. Потом победители второго этапа открыли решения: около 900 токенов в секунду и от 20 до 25 очков против его 7.

Сам агент практически полная копия того же что и я использовал. Просто значительно быстрее. : Автор разбора, 6 место на публичной доске ARC-AGI-3

С начала октября он перешёл на инференс (работу уже обученной модели при ответе), а с 1 по 20 октября занимался только оптимизацией сервера на vLLM, программе, через которую модель отвечает на запросы. Логика простая: модель читает новые данные быстро и параллельно, а пишет по одному токену. Отчасти помогают черновики, которые набрасывает модель поменьше.

Аргументы против: выводы из одной истории делать рано

Результаты предварительные, и это рассказ одного участника, который сам признаётся, что в оптимизации новичок и мог что-то понять неверно. Подход с моделью мира, по его же словам, хорошо работает у больших моделей. Значит, идеи упирались в ограничения железа, а не обязательно были плохими.

Есть и деталь, которую легко пропустить. Первый месяц правок пришёлся на медленную плотную модель, где задействованы все веса сразу, а медленная генерация, как пишет автор, означает больше шума и меньше опытов. Надстройки проверялись в самых неблагоприятных условиях.

Что делать с этим прямо сейчас, по ролям

Автору Дзена: прежде чем часами шлифовать промпт, сравните его с самым простым вариантом. Если разница на уровне случайности, тратьте время на число публикаций и проверок.

Маркетологу: меняйте за раз что-то одно и делайте много прогонов, иначе шум выдаёт себя за результат. В истории с конкурсом выигрывал тот, кто успевал сделать больше попыток.

Предпринимателю в РФ и СНГ: участники запускали модель на своей машине без интернета, и этот опыт полезен тем, кто не хочет отдавать данные в зарубежные облака. Из доступных в РФ облачных инструментов есть YandexGPT и GigaChat.

Через месяц будут окончательные итоги, и поскольку призы получают только те, кто открыл решения, в открытом доступе окажутся рецепты ускорения от лучших команд. Я ожидаю, что следующий сезон начнётся с того, что все скопируют быстрый сервер, и тогда соревнование идей начнётся заново, уже на равной скорости.