Runway, генератор видео за $5,3 млрд, строит виртуальные миры по текстовым промптам в реальном времени

Runway, генератор видео и один из лидеров в области генеративных мультимодальных (работающих сразу с видео, аудио и текстом) моделей, опубликовала исследовательский превью GWM Worlds 2. Издание Latent Space взяло эксклюзивные интервью у технического директора компании Камиля Синди, ведущего исследователя Робин Кало и сооснователя Анастасиса Германидиса. Ниже разбираем, что именно показали и насколько это близко к практике.

Что именно исследовали?

Runway проверяла, можно ли превратить генеративную видеомодель из инструмента, который выдаёт готовый ролик, в интерактивную среду реального времени. Проблема в том, что обычная модель генерирует весь клип целиком, а для «виртуального мира» нужно выдавать кадр за кадром, мгновенно реагируя на действия пользователя.

Ключевая новинка называется WorldPrompt. Это не язык программирования, а формат промпта: вы фиксируете начальный кадр, описываете правила среды и затем отправляете события с метками времени. Можно сравнить с режиссёрской раскадровкой, которую модель «оживляет» на лету.

В отличие от Minecraft или Roblox, здесь нет скриптов и управления состоянием. Но есть другое преимущество: мир создаётся целиком из текста, без заранее нарисованных ассетов.

Что обнаружили?

• Генерация кадр за кадром работает. Модель перешла от «двунаправленной диффузии» (генерация всего ролика сразу) к авторегрессивному режиму (каждый следующий кадр строится на предыдущем). По словам Германидиса, это позволяет выдавать «один кадр или несколько кадров за раз».

• Скорость достигается дистилляцией. Runway применяет два подхода: сжатие большой модели в меньшую и сокращение шагов диффузии. Германидис привёл пример: модель может перейти с примерно 50 шагов шумоподавления до четырёх, с некоторой потерей качества, но сопоставимым результатом.

• Движение отрабатывается надёжно, сложные действия пока нет. Кало прямо сказала: «Это исследовательский превью, он не идеален. Зависит от сложности действия. Движение работает довольно надёжно».

• Главная нерешённая проблема: накопление ошибок. Когда сгенерированные кадры подаются обратно в модель для генерации следующих, мелкие неточности нарастают. Германидис назвал это «самой большой проблемой авторегрессивных моделей».

• Долговременная память отсутствует. Кало подтвердила: «У модели нет идеальной памяти. Это по-прежнему открытая исследовательская задача». Также есть ограничения по длительности сессии: Google отмечает, что их аналог Genie 3 поддерживает «несколько минут непрерывного взаимодействия, а не часы».

Что это значит для вас?

Авторам Дзена и создателям контента. WorldPrompt открывает путь к созданию интерактивных виртуальных миров через текстовые команды в реальном времени. Пока это лаборатория, не инструмент продакшена. Но если вы работаете с видео, стоит разобраться в логике WorldPrompt уже сейчас: формат промпта с метками времени может стать стандартом для Runway как генератора видео нового поколения.

Разработчикам игр и прототипов. Возможность описать сцену текстом и получить интерактивное видео за секунды вместо недель моделирования меняет экономику прототипирования. Ограничения по памяти и накоплению ошибок пока делают это непригодным для финальных продуктов, но для быстрой проверки идеи уже полезно.

Маркетологам и предпринимателям в РФ. Runway недоступна из России напрямую. Из российских инструментов генерации видео по тексту можно назвать Kandinsky от Сбера, но интерактивных виртуальных миров он не создаёт. Следите за тем, появится ли API GWM Worlds 2 для сторонних разработчиков: Синди описывает создание миров «по запросу» как уже работающую возможность, а не «далёкую гипотезу».

Самый практичный вывод: генеративное видео перестаёт быть односторонним, и те, кто сейчас разберётся в логике управления сценой через промпт, окажутся на шаг впереди, когда Runway или её конкуренты выпустят коммерческую версию.

По данным Latent Space