Применение ИИ в робототехнике без лидаров: модель Mistral обошла дорогие системы с одной камерой

Mistral AI, французский разработчик открытых языковых моделей, до сих пор был известен текстовыми и мультимодальными (работающими одновременно с текстом и изображениями) моделями. Robostral Navigate, первый шаг компании в так называемую «воплощённую» робототехнику: модель принимает обычное RGB-изображение с камеры и текстовую инструкцию на естественном языке, а затем самостоятельно ведёт робота по маршруту. Об этом сообщила техническая документация Mistral AI.

Что умеет Robostral Navigate?

• Одна камера вместо набора сенсоров. Большинство навигационных систем используют лидар (LiDAR, лазерный дальномер), датчики глубины или несколько камер одновременно. Robostral Navigate работает с единственной RGB-камерой, что снижает стоимость и сложность «железа».

• Навигация по текстовой команде. Робот получает одну инструкцию на обычном языке, например: «Выйди из холла, пройди по коридору, зайди в подсобку и остановись перед второй полкой». Дальше модель выполняет задачу целиком без дополнительных команд.

• Метод «указания» (pointing). Модель предсказывает координаты цели прямо на текущем кадре камеры: куда двигаться и какой должна быть ориентация робота при прибытии. Если цель не видна в кадре, модель переключается на локальные перемещения: «двигайся на 2 метра вперёд, 1,5 метра влево, поверни на 25 градусов».

• 76,6% успеха на «невиданных» средах. На бенчмарке R2R-CE (Room-to-Room in Continuous Environments, стандартный тест, где ИИ-агент следует текстовым инструкциям в непрерывном 3D-пространстве) модель набрала 76,6% на средах, которых не было в обучении. По данным технической документации Mistral, это на 9,7 пункта выше лучшего однокамерного подхода и на 4,5 пункта выше лучших систем с датчиками глубины или несколькими камерами.

• Обучение ускорено в 22 раза. Специальная техника кэширования префиксов сжимает целый эпизод в одну последовательность. По данным Mistral, тренировки, которые раньше занимали месяцы, теперь завершаются за дни. Дополнительный этап онлайн-обучения с подкреплением (алгоритм CISPO) добавил ещё 3,2% к показателю успеха.

• Работает на колёсных, шагающих и летающих роботах. Модель устойчива к различиям в параметрах камер разных платформ, что позволяет одному «мозгу» управлять разными типами машин.

Как собирали обучающие данные?

Mistral не использовала существующие открытые мультимодальные модели. Вместо этого компания построила Robostral Navigate на собственной модели машинного зрения, изначально обученной задачам «заземления» (grounding): указание на объекты, подсчёт, локализация. Навигация стала естественным продолжением этих умений.

Для обучения Mistral создала полностью симуляционный конвейер: около 400 000 траекторий, собранных в 6 000 сценах, включая офисы, жилые и коммерческие здания, а также открытые пространства. Робот учится перемещаться среди людей и препятствий, которых никогда не видел во время тренировки.

Как попробовать?

1. Ознакомьтесь с технической документацией Robostral Navigate на сайте Mistral AI, там есть псевдокод цикла навигации и описание API.
2. Подготовьте платформу: подойдёт любой робот с одной RGB-камерой и вычислительным модулем, способным запустить модель на 8 млрд параметров.
3. Сформулируйте задачу на естественном языке и запустите цикл «камера прочитала кадр, модель предсказала действие, робот выполнил».

Цену доступа и условия коммерческой лицензии Mistral AI пока не раскрыла.

Есть ли аналоги в России?

Прямого российского аналога, навигационной модели для роботов на одной камере, на момент публикации нет. YandexGPT и GigaChat работают с текстом и изображениями, но не управляют физическим перемещением роботов. Российские робототехнические проекты (например, роботы-доставщики «Яндекса») используют собственные навигационные стеки, однако открытых моделей общего назначения вроде Robostral Navigate на российском рынке пока не появилось.

Для тех, кто занимается применением ИИ в домашней робототехнике, это означает: пока приходится работать с зарубежными решениями или строить навигацию с нуля.

Кому это пригодится и что делать прямо сейчас?

• Разработчикам роботов в РФ и СНГ. Модель с открытыми весами (если Mistral опубликует их, как делала раньше) позволит собрать навигационного робота без лидара. Одна камера вместо набора датчиков существенно сокращает бюджет прототипа.

• Авторам Дзена, пишущим о технологиях. Применение ИИ в робототехнике выходит за пределы текстовых чатботов. Тема навигации роботов по голосовой команде понятна широкой аудитории и хорошо работает в формате «показал, как работает».

• Предпринимателям в логистике и сервисе. Складской робот, который едет по маршруту от одной текстовой команды, робот-гид в гостинице или доставщик внутри здания: всё это сценарии, которые Mistral прямо называет в документации.

Частые вопросы

Нужен ли мощный компьютер для запуска?

Модель содержит 8 миллиардов параметров. Это сопоставимо с небольшими языковыми моделями, которые запускаются на потребительских видеокартах. Точные требования к «железу» Mistral пока не опубликовала, но размер модели не выглядит запретительным для локального запуска.

Можно ли использовать на улице?

По данным Mistral, обучающие сцены включают открытые пространства, а не только помещения. Модель также работает на колёсных, шагающих и летающих платформах. Однако результаты бенчмарка получены в симуляции, реальные уличные условия (погода, освещение, непредсказуемый трафик) потребуют дополнительной проверки.

Модель открыта или закрыта?

На момент публикации Mistral выложила техническую документацию. Компания известна выпуском моделей с открытыми весами, но условия доступа к Robostral Navigate пока не объявлены.