Нейросеть для генерации видео CADRE реагирует за 185 мс: втрое быстрее конкурентов

Исследование опубликовала французская лаборатория Kyutai. Проблема, которую решает CADRE, выглядит так: большинство моделей мира (world models, нейросети, которые предсказывают следующие кадры на основе действий пользователя) заимствуют автоэнкодеры из генераторов текста в видео. Те упаковывают сразу несколько кадров в одно скрытое представление, и каждое действие ждёт, пока «пачка» обработается. CADRE перестраивает эту схему: сжатие настраивается, задержка падает, а качество при этом не уходит в размытие.

Что именно измеряли?

Kyutai взяла одну и ту же модель мира на 1,2 млрд параметров и подключала к ней разные автоэнкодеры. Автоэнкодер (autoencoder) здесь работает как переводчик: он сжимает видеокадры в компактный код, а потом восстанавливает из этого кода картинку. Чем сильнее сжатие, тем быстрее работает система, но тем больше теряется деталей.

Тестировали в четырёх средах: робот-манипулятор, действия от первого лица (руки человека), вождение автомобиля и навигация внутри помещений. Модель получала 2 секунды реального видео, а затем генерировала 4,8 секунды продолжения.

Качество оценивали тремя метриками:

• FID, насколько отдельные кадры похожи на реальные
• FVD (Fréchet Video Distance, расстояние между распределениями реального и сгенерированного видео), насколько естественно выглядит движение
• ARR (Action Response Rate, показатель следования действиям), насколько точно видео реагирует на команды пользователя. Значение 1 означает полное совпадение с реальным видео

Что обнаружили?

• Скорость на одной видеокарте. CADRE-2×32×32 реагирует за 185 мс и выдаёт 23,4 кадра в секунду. Для сравнения: Wan 2.2 требует 317 мс, LTX-2 нужно 492 мс, Cosmos отстаёт на 605 мс. По данным Kyutai, CADRE выигрывает в 42 из 48 попарных сравнений с этими конкурентами по соотношению задержки и качества.
• Движущаяся камера решает всё. При вождении FVD у Wan 2.2 достигает 599,7, а у LTX-2 поднимается до 913,3. CADRE показывает 162,6. При неподвижной камере разрыв значительно меньше.
• Диффузионный декодер вместо регрессии. Обычный декодер при сильном сжатии размывает картинку. Диффузионный (генерирующий кадр пошаговым «проявлением» из шума) выдаёт резкое изображение даже за один шаг. Это снижает FVD от 1,4 до 2,5 раза по сравнению с обычным декодером MIRA.
• Пространственное сжатие бьёт по движению первым. При 32-кратном пространственном сжатии в задачах с роботом FVD вырастает в 2,4 раза по сравнению с 16-кратным. При этом качество отдельных кадров (FID) почти не меняется.

Что это значит для вас?

Авторам Дзена и контент-мейкерам. Нейросеть для генерации видео пока работает либо медленно, либо с потерей качества. CADRE показывает, что задержку можно сократить без критичного размытия. Если вы экспериментируете с интерактивным видеоконтентом или игровыми демо, это направление стоит отслеживать. Код открыт и доступен на GitHub, нейросеть для генерации видео бесплатно можно запустить для экспериментов, но весá лицензированы CC BY-NC 4.0: зарабатывать на результатах нельзя.

Маркетологам. Интерактивные демо продуктов, где клиент управляет камерой в реальном времени, пока остаются экспериментальными. Но задержка 185 мс уже ниже порога восприятия лага. Когда такие модели станут коммерчески доступными, формат «покрути товар сам» из статичного 3D превратится в генеративное видео.

Предпринимателям в РФ. Для запуска нужна видеокарта H100, которую в России купить непросто, а облачный доступ к ним ограничен. Из доступных в РФ инструментов для генерации видео можно использовать Kandinsky от «Сбера» или сервисы на базе открытых моделей, но они решают другую задачу: генерацию по текстовому описанию, а не интерактивное управление камерой.

Релиз CADRE фиксирует конкретный инженерный факт: задержку интерактивной генерации видео можно опустить ниже 230 мс на одной видеокарте без потери резкости кадра. Для тех, кто строит интерактивные продукты с видео, это практический ориентир, а не обещание из презентации.

По данным исследования Kyutai (CADRE)