NVIDIA Cosmos для роботов в операционной

Компания NVIDIA представила Cosmos-H-Dreams как развитие своей платформы генеративной симуляции ИИ для хирургической робототехники. Предшественник, Cosmos-H-Surgical-Simulator, уже умел генерировать видео будущих действий робота по начальному кадру и траектории движения, но работал в офлайн-режиме и выдавал около десяти кадров в секунду. Новая модель доводит скорость до примерно 160 кадров в секунду на одной видеокарте NVIDIA RTX PRO 6000 и позволяет управлять симуляцией в реальном времени.

Сумму инвестиций в проект NVIDIA не раскрыла, однако речь идёт о внутренней разработке с привлечением партнёров: CMR Surgical и Cambridge Consultants.

Генеративный симулятор вместо физического стенда

Cosmos-H-Dreams работает как «ученик», который перенял навыки у более тяжёлой модели-«учителя» (Cosmos-H-Surgical-Simulator). Процесс называется дистилляцией (distillation): большая модель генерирует эталонные примеры, а компактная учится воспроизводить их с меньшими вычислительными затратами.

Модель-«учитель» построена на базе Cosmos-Predict2.5-2B и дообучена на датасете Open-H-Embodiment. Она принимает начальный кадр хирургической сцены и последовательность команд робота, а затем генерирует видео с визуальными последствиями этих действий.

Ключевая деталь: в обучающие данные (training data) включены не только успешные операции, но и ошибки. Промахи иглой, неудачные броски, развязавшиеся узлы. Это принципиально: симулятор, который показывает только идеальные сценарии, бесполезен для проверки алгоритмов, ведь именно на ошибках проверяется устойчивость политики управления.

Почему 160 кадров в секунду меняют расклад?

Предыдущее поколение выдавало около десяти кадров в секунду. Этого хватало для офлайн-анализа: записал траекторию, отправил модели, получил видео, посмотрел результат. Но управлять роботом в реальном времени при такой скорости невозможно.

Cosmos-H-Dreams выходит на примерно 160 кадров в секунду благодаря библиотеке FlashDreams. Это набор оптимизаций: потоковый KV-кэш (кэш ключей и значений, который позволяет модели не пересчитывать уже обработанные кадры), захват CUDA-графов и компиляция модели. Всё это запускается на одной видеокарте RTX PRO 6000.

Результат: человек или обученный алгоритм может управлять виртуальным роботом в замкнутом цикле. Подал команду, увидел последствие, скорректировал действие. Браузерный клиент передаёт команды с клавиатуры через WebRTC, а шлем Meta Quest отслеживает движения контроллера и переводит их в действия робота через WebXR.

На каких роботах это уже работает?

Модель обучена на данных двух реальных хирургических платформ:

• da Vinci Research Kit (dVRK) — исследовательская версия робота da Vinci, широко используемая в университетских лабораториях. Именно для задачи наложения швов на dVRK выпущена первая публичная модель.
• Versius (CMR Surgical) — модульный хирургический робот. NVIDIA совместно с CMR Surgical и Cambridge Consultants интегрировала Cosmos-H-Dreams с контроллером хирурга Versius для работы в реальном времени.

Действия робота закодированы в едином 44-мерном формате: относительное перемещение, вращение и состояние захвата для двух рук. Это означает, что модель потенциально переносима на другие платформы, использующие схожую кинематику.

Симулятор должен воспроизводить последствия плохих действий, а не только идеальных демонстраций. Именно поэтому в обучение включены эпизоды с выпавшими иглами, промахами и неудачными узлами. : Из технического описания NVIDIA Cosmos-H-Dreams

Что это значит для вас?

• Разработчикам медицинского ИИ и робототехники в России: модель обучена на данных реальных хирургических роботов dVRK и Versius, включая ошибки. Для команд, работающих над отечественными хирургическими системами, это готовый инструмент проверки алгоритмов управления без физического робота. Платформа Open-H-Embodiment открыта, данные доступны.

• Авторам, пишущим о медтехе и ИИ: генеративная симуляция ИИ в хирургии это конкретная тема с понятной пользой для аудитории. Визуальная демонстрация (видео симуляции на одной видеокарте вместо операционной за миллионы) объясняет сложную технологию за 30 секунд.

• Предпринимателям в медтехе: порог входа в тестирование хирургических алгоритмов снижается с физического стенда до одной видеокарты. RTX PRO 6000 стоит несколько тысяч долларов. Хирургический робот для испытаний обходится на порядки дороже.

Практический шаг прямо сейчас: если вы работаете с робототехникой или медицинским ИИ, посмотрите датасет Open-H-Embodiment и архитектуру дистилляции из Cosmos-H-Surgical-Simulator. Даже без доступа к RTX PRO 6000 сам принцип обучения на ошибках и сжатия модели до интерактивной скорости переносим на задачи, где физический стенд слишком дорог или недоступен.