Робот с ИИ на 2,4 млрд параметров обошёл конкурентов вдвое крупнее: веса уже открыты

Французская лаборатория Kyutai совместно с Inria и École des Ponts выпустила REKI, VLA-модель (vision-language-action, модель, которая видит камерой, понимает текстовую команду и превращает их в движения робота) на 2,4 млрд параметров, обученную целиком на публичных данных и уже доступную с открытыми весами.

Что здесь измеряли?

VLA-модели учат робота с ИИ выполнять задачи по текстовой инструкции: «поставь миску на тарелку», «подними красный кубик». Модель получает картинку с камер, текст задачи и текущее положение суставов, а на выходе генерирует последовательность команд для манипулятора.

REKI устроена из двух частей. Языковое «зрение» обеспечивает Qwen3.5-2B, компактная мультимодальная (работающая сразу с текстом и изображением) языковая модель. Действия генерирует отдельный «эксперт» на 200 млн параметров через метод flow matching (способ генерации плавных траекторий за фиксированное число шагов, здесь 10 шагов Эйлера).

Команда Kyutai проверяла REKI на трёх внебенчмарковых (out-of-distribution) тестах, то есть на задачах, которых модель не видела при обучении. Именно на таких задачах проверяется, насколько робот с ИИ способен обобщать навыки на незнакомую обстановку.

Что обнаружили?

• LIBERO-Plus: 90,4%, лучший результат в сравнении Kyutai. Для контекста: Qwen-RobotManip набрал 89,0%, π0.5 (модель от Physical Intelligence) набрала 85,7%.
• RoboTwin Clean2Rand: 65,8%, второй результат после Qwen-RobotManip (68,5%). Предобучение добавило 13,8 процентных пунктов, а в условиях «захламлённой» сцены прирост составил 30,3 пункта.
• RoboCasa365: 38,4%, здесь REKI уступает Xiaomi-Robotics-1 (57,4%), но обгоняет RLDX-1 (36,0%) и Qwen-RobotManip (35,9%).
• Память снижает осцилляции. Без модуля памяти рука робота «зависала», дёргаясь между двумя позами, в 18,6% эпизодов. С памятью этот показатель упал до 4,1%. Kyutai объясняет эффект устранением перцептивного алиасинга (ситуации, когда два разных состояния выглядят для камеры одинаково).
• Память стоит почти ничего. 32 специальных регистра (register tokens) кешируются и добавляют всего 0,1 мс к 21,8 мс инференса (инференс, это момент, когда модель рассчитывает следующее действие). Видеопамяти уходит около 2 МиБ на кадр.

Как устроена память REKI?

Большинство VLA-моделей видят только текущий кадр: ни прошлого, ни контекста. Предыдущие подходы прокидывали старые кадры через языковую модель, разворачивали обучение по времени или добавляли отдельные модули, и всё это дорого.

REKI встраивает память внутрь action expert. Перед токенами действий каждого кадра стоят 32 обучаемых регистра. Они «смотрят» на закодированный промпт и текущий кадр, а также на регистры предыдущих кадров (окно в 3 кадра с интервалом 1 секунда). Регистры не читают токены действий, поэтому зависят только от наблюдений, вычисляются один раз и кешируются.

Результат: робот собака с ИИ или манипулятор перестаёт «забывать», что видел секунду назад, и не застревает в петле повторяющихся движений.

Что это значит для вас?

Инженеру-робототехнику в России. UR5, на котором Kyutai тестировала REKI, один из самых распространённых промышленных манипуляторов, в том числе в российских лабораториях. Дообучение заняло 1 час (3 000 шагов) на 50 демонстрациях на задачу. Это доступный порог: если у вас есть UR5 или аналогичный манипулятор и одна карта NVIDIA уровня H100 или A100, можно воспроизвести результат. Код развёрнут через LeRobot gRPC-протокол, и на GitHub уже лежат шесть готовых чекпоинтов (предобученная база плюс дообученные версии под пять бенчмарков).

Автору Дзена, пишущему про робототехнику. REKI показывает тренд: VLA-модели становятся компактнее, а данные для обучения полностью открыты (DROID, BridgeData V2, AgiBot World, EgoDex, EgoVerse). Это материал для разбора «как робот с ИИ учится по видео» без NDA и закрытых API.

Предпринимателю в РФ. Некоммерческая лицензия не позволяет встроить REKI в продукт напрямую, но позволяет оценить подход и обучить собственную модель на тех же открытых датасетах. Из российских проектов в области робототехники с ИИ стоит следить за работами Сколтеха и лабораторий при МФТИ: они работают с похожими архитектурами и, в отличие от Kyutai, не ограничены некоммерческой лицензией.

Шесть чекпоинтов на Hugging Face, код на GitHub, дообучение за час на 50 примерах. Для лаборатории, у которой есть манипулятор и одна серверная карта NVIDIA, это минимальный порог входа в управление роботом через языковую инструкцию, и он открыт прямо сейчас.

По данным Marktechpost