Vision language action модель LingBot-VLA 2.0 вышла в открытый доступ: 6 млрд параметров, 20 типов роботов

Подразделение Robbyant опубликовало технический отчёт, кодовую базу под лицензией Apache 2.0 и чекпоинт (контрольную точку обученной модели) на 6 млрд параметров. Модель решает конкретную проблему: vision language action модели (VLA, модели, которые превращают изображение с камеры и текстовую инструкцию в физическое действие робота) часто показывают хорошие результаты в лаборатории, но дают сбои при реальном развёртывании. Вторая версия продвинулась по трём направлениям: обобщение на разные типы роботов, расширенное пространство действий и предиктивное моделирование динамики.

Как устроена модель и зачем 55 измерений?

LingBot-VLA 2.0 берёт картинку с камеры робота и текстовую команду на естественном языке, а на выходе выдаёт набор физических действий: куда повернуть руку, на сколько градусов сжать захват, куда двигать базу. Основой служит Qwen3-VL-4B-Instruct, открытая мультимодальная (то есть принимающая и текст, и изображения) модель от Alibaba.

Главная сложность: у разных роботов разное количество суставов и конечностей. Один робот имеет две руки и мобильную платформу, другой только захват. Модель решает это через единый вектор из 55 измерений. У каждой «руки» 7 измерений: три координаты XYZ плюс кватернион вращения. Если у робота нет какой-то части тела, соответствующие измерения просто заполняются нулями. Так одна и та же модель управляет руками, кистями, захватами, поясницей, головой и мобильной базой.

Как фильтровали 60 000 часов данных?

Обобщение начинается с данных. Команда собрала около 60 000 часов предобучающих данных: 50 000 часов записей роботов и 10 000 часов видео от первого лица (эгоцентрическое видео, когда камера закреплена на человеке). Данные охватывают 20 конфигураций роботов.

Исходный пул был значительно больше: около 90 000 часов роботов и 20 000 часов эгоцентрического видео. Отсев проводили по измеримым критериям:

• Jerk-анализ (анализ рывков). Для каждого типа робота считали производную третьего порядка (jerk, то есть скорость изменения ускорения), а также Z-оценки скорости и ускорения. Эпизоды с аномально гладким движением или с более чем 95% статичных сигналов удаляли.
• Проверка по URDF (файл-описание конструкции робота). Видеозаписи сверяли с воспроизведёнными состояниями по цифровой модели конкретного робота.
• Ручная проверка. Аннотаторы убирали размытые кадры, окклюзии (перекрытия объектов), пропущенные кадры и рассинхронизацию камер.

Разметку автоматизировали при помощи модели Qwen3.6-27B. Она разбивала каждое видео на подзадачи и присваивала каждой атомарное действие из закрытого словаря в 18 категорий: 15 базовых действий плюс «перемещение», «ожидание» и «другое».

Что обнаружили на бенчмарках?

Модель оценивали на бенчмарке GM-100 (Great March 100) для бимануальных (двуруких) задач. Одна политика обучалась совместно на девяти задачах для каждого типа робота. Результаты измеряли по двум метрикам: прогресс и процент успеха.

• На задаче Agilex Retrieve keychain (достать связку ключей) процент успеха вырос с 60,0 до 100,0 по сравнению с версией 1.0.
• MoE-архитектура (Mixture of Experts, смесь экспертов, когда активируются только нужные части сети) при том же числе активных параметров показала более низкую ошибку на валидации, чем плотная модель.
• На задачах мобильной манипуляции модель тестировали в двух режимах: на обучающем распределении данных (ID) и с изменёнными позами и объектами (OOD, вне распределения).
• Разрыв между прогрессом и успехом сохраняется на некоторых задачах. Команда указывает, что ошибки происходят на финальном этапе точного размещения или отпускания объекта.

Что делать с этим прямо сейчас?

Робототехникам и разработчикам. Код и веса открыты под Apache 2.0. Развернуть модель можно на RTX 4090 с инференсом около 130 мс за вызов. Репозиторий содержит скрипты установки, скачивания весов и развёртывания. Дообучение (fine-tuning) поддерживает датасеты LeRobot v2.1 и v3.0, пример включает 50 задач RoboTwin 2.0.

Авторам Дзена и контент-маркетологам. Тема робототехники с открытым кодом набирает обороты. Разбор того, как jerk-анализ фильтрует данные или как 55-мерный вектор унифицирует разных роботов, даёт материал для объяснительного контента, который пока мало кто делает на русском языке.

Предпринимателям в РФ и СНГ. Модель открыта, но для запуска нужна видеокарта уровня RTX 4090 и реальный робот. Из доступных в России робототехнических платформ с открытым ПО можно рассматривать решения на базе ROS 2. Прямых российских аналогов VLA-моделей такого масштаба пока нет.

Открытая лицензия, воспроизводимый пайплайн фильтрации и 130 мс инференса на потребительской видеокарте делают LingBot-VLA 2.0 практичной отправной точкой для тех, кто строит роботов, а не только читает о них.

По данным технического отчёта LingBot-VLA 2.0 и репозитория Robbyant