Вынос инференса с борта робота экономит до 160% заряда: новые данные об ИИ-роботике

Работу называют первым систематическим исследованием нагрузок на инференс в мобильной роботике. До сих пор отрасль шла по пути «GPU на борту»: чип припаивают к роботу, он выдаёт команды на каждое действие. Авторы проверили альтернативу: переброс вычислений на edge-сервер (локальный GPU рядом с роботом) или в облако, а на борту оставить лёгкую плату вроде Raspberry Pi 5.

Что именно измеряли?

Исследователи взяли типичную бытовую задачу для мобильного робота-манипулятора: «проверь кухню на мусор и выброси его в урну». Задача разбивается на цепочку: построить карту помещения, спланировать маршрут, доехать до кухни, найти мусор камерой, подъехать, схватить, вернуться к урне и выбросить.

Каждое звено цепочки обслуживает своя модель. Авторы выделили три группы:

• Семантическое картирование и планирование (робот понимает, что где находится, и решает, куда ехать).
• Навигация (робот объезжает препятствия в реальном времени).
• Манипуляция (робот берёт предмет; здесь используют VLA-модели, то есть модели, которые одновременно «видят» и «действуют»).

Все три группы тестировали на разном железе: от лёгких бортовых GPU до серверного A100, с инференсом на борту и с выносом на edge или облако.

Три главных вывода

• Лёгкий бортовой GPU режет качество работы робота. Маппинг и планирование замедляются до 383% относительно A100. Робот не успевает обновлять карту в динамичной среде, где люди двигаются и предметы перемещаются.
• Навигация страдает критично. Обнаружение препятствий на слабых GPU падает на 30%. Для робота, который ездит рядом с людьми, это вопрос безопасности.
• Батарея садится в разы быстрее. Тяжёлый бортовой GPU, например Jetson Thor, забирает столько энергии, что время работы сокращается на 160%, то есть робот возвращается на зарядку на несколько часов раньше. Замена GPU на Raspberry Pi 5 с передачей данных по сети на удалённый GPU возвращает эти часы.

Инструмент для выноса вычислений

Команда выпустила набор инструментов на базе Kubernetes (система оркестрации контейнеров, которая управляет распределением задач между серверами). Разработчик описывает задачу декларативно, инструмент сам упаковывает модель в контейнер, решает, где её запускать: на бортовом компьютере, edge-сервере или в облаке, и при перегрузке «переливает» нагрузку дальше. Интеграция с ROS2 (стандартная программная платформа для роботов) и LeRobot (открытая библиотека для обучения роботов) упрощает переход для тех, кто уже работает в этих экосистемах.

Что это значит для вас?

Разработчику робототехники в РФ и СНГ. Результаты показывают практическую альтернативу дорогому встроенному GPU. Если у вас есть локальный сервер с видеокартой или доступ к облачным GPU (в России доступны, например, сервисы Yandex Cloud GPU или Selectel), вы можете запускать тяжёлые модели ИИ-роботики без покупки Jetson Thor на каждый робот. Это снижает стоимость единицы и увеличивает время автономной работы.

Автору Дзена, пишущему про технологии. Тема ИИ-роботики выходит за границы «чат-бот в телефоне». Объяснять, почему робот-курьер разряжается через час, а не через четыре, и что с этим делают, это материал, который цепляет аудиторию конкретной бытовой болью.

Предпринимателю, внедряющему роботов на складе. Архитектура с edge-инференсом позволяет обновлять модели централизованно, не перепрошивая каждый робот. Робот становится легче, дешевле и работает дольше. Но появляется зависимость от сети: без стабильного Wi-Fi или 5G выигрыш обнуляется.

Для тех, кто работает в ИИ-роботике, главный практический шаг: возьмите инструментарий на базе Kubernetes из этого проекта, подключите свой edge-сервер и замерьте задержку на собственных задачах. Цифры из чужого бенчмарка полезны для ориентира, но решение о переносе инференса с борта принимается только после теста на вашей сети и ваших моделях.

По данным NVIDIA Technical Blog