Открытая модель ИИ от Robbyant генерирует бесконечное видео без потери качества

Подразделение Ant Group по воплощённому интеллекту, Robbyant, опубликовало LingBot-World-Infinity (она же LingBot-World 2.0). Это открытая модель ИИ для каузальной видеогенерации: модель строит видео кадр за кадром, опираясь только на прошлые кадры и текущий ввод пользователя. Результат позиционируется как интерактивный симулятор мира, где зритель управляет камерой и событиями, а не просто смотрит ролик.

Исследование опубликовано командой Robbyant, кодовая база выложена на GitHub, веса основной версии доступны на Hugging Face.

Что именно измеряли и зачем?

Команда Robbyant атаковала две конкретные болезни видеогенерации.

Дрейф длинного горизонта. Когда модель генерирует видео авторегрессивно (каждый кадр на основе предыдущих), через несколько секунд картинка начинает «плыть»: теряются детали, искажаются пропорции, меняется освещение. Представьте фотокопию с фотокопии: с каждым поколением шум нарастает. Исследователи обнаружили конкретную причину: по мере роста контекста модель начинает опираться на уже готовые кадры вместо того, чтобы предсказывать новые. Это переобучение на собственный вывод.

Интерактивная задержка. Стандартные модели генерируют весь ролик целиком, а не покадрово. Это исключает реакцию на действия пользователя в реальном времени.

Метод замера: команда сравнивала качество кадров на длинных последовательностях (сотни кадров) и фиксировала деградацию визуального качества при стандартной авторегрессивной маске внимания.

Ключевой механизм: MoBA-Attention

Решение называется MoBA, Mixture of Bidirectional and Autoregressive Attention Mask (смесь двунаправленной и авторегрессивной масок внимания). Если упрощённо: к обычной авторегрессивной цепочке «смотри только назад» добавляется блок, который смотрит во все стороны сразу. Этот блок работает как регуляризатор, не даёт модели «залипнуть» на контексте и деградировать.

Обучение проходит в два этапа. Сначала предобучение на задаче генерации потока. Затем пост-обучение сжимает многошаговую «учительскую» модель в быструю «ученическую» через два приёма:

• Дистилляция согласованности. Точки на одной траектории потока вероятностей должны давать одинаковый результат.
• Дистилляция сопоставления распределений (DMD). Студенческая модель оптимизируется не на данных учителя, а на собственных длинных «прокатках». Именно это, по заявлению авторов, борется с дрейфом: модель учится на своих же ошибках, а не на идеальных примерах.

Что ещё обнаружили: агентная обвязка

Генератор кадров сам по себе не принимает решений. Robbyant обернули его в связку из двух ИИ-агентов (программ, действующих самостоятельно).

• Режиссёр. Мультимодальная языковая модель (VLM), которая анализирует текущий кадр и генерирует «карточки событий»: что должно произойти дальше по логике сцены.
• Пилот. Диффузионный трансформер, который рендерит физику и переходы между состояниями.

Пользователь управляет как в игре: WASD для движения, IJKL для обзора, пробел для прыжка, отдельные клавиши для атаки, стрельбы из лука, заклинаний. Режиссёр сам предлагает действия для персонажей и события окружения.

Доступно два режима взаимодействия:

• Прямое семантическое. VLM читает кадр и предлагает события, маски объектов не нужны.
• С отслеживанием объектов. Модель SAM (Segment Anything Model, модель сегментации «всего подряд») отслеживает объекты между блоками кадров. Пользователь выбирает объект и запускает действие: в статье показаны примеры открывания дверей и вращения мячей.

Что делать с этим прямо сейчас?

Авторам Дзена и контент-мейкерам. Интерактивная видеогенерация пока не инструмент для продакшена: нужно серверное оборудование и один из четырёх вариантов модели. Но следите за появлением лёгкой версии на 1.3B. Если она действительно заработает на одной GPU, это будет первый случай, когда автор сможет генерировать управляемое видео без облачной подписки.

Разработчикам в РФ и СНГ. Механизм MoBA-Attention и подход DMD с «прокатками» на собственных данных напрямую применимы к задачам симуляции: цифровые двойники, тренажёры, тестовые среды для робототехники. Код на GitHub открыт, построен на Wan2.2. Весовая модель доступна через Hugging Face, а также есть чекпойнт для библиотеки Diffusers.

Маркетологам и предпринимателям. Пока это исследовательский релиз, а не продукт. Коммерческих лицензий и облачного API в публикации не упоминается. Из доступных в России инструментов видеогенерации на базе открытых моделей ИИ ближе всего по архитектуре стоят проекты на основе CogVideo и Open-Sora, но ни один из них не предлагает интерактивного режима с управлением в реальном времени.

Для российских разработчиков симуляторов и цифровых двойников главная ценность этого релиза не в готовом продукте, а в открытом описании двухстадийной дистилляции с DMD на собственных траекториях: именно этот приём можно адаптировать к локальным задачам, не дожидаясь, пока Robbyant выложит все четыре варианта модели.

По данным Robbyant (GitHub)