Programmable World Model от Alaya Lab

Alaya Lab представили концепцию программируемой модели мира, где состояние объектов хранится как код, обеспечивая стабильность видеогенерации.

Этот подход решает главную проблему современных видеонейросетей — «забывание» объектов и нарушение физики при длительной генерации.

Объекты сохраняют постоянство, так как их состояние хранится в коде, а не в памяти нейросети.
Позволяет генерировать длинные видеопоследовательности без потери логики и распада картинки.
Упрощает управление сценой через программные правила, а не только через текстовые промпты.

Programmable World Model (Alaya Lab) Программируемая модель мира Состояние мира существует отдельно от картинки как код, а не как тень в истории кадров. Раньше видеомодель сама хранила все неявно: объект ушел из кадра - забыла, правила не выражались. Теперь мир - это явные данные, а видео просто их рисует. - Агент пишет правила мира кодом: где объекты, как двигаются, какие события происходят - Движок состояний следит за сущностями даже за кадром — повернул камеру, а они на месте - Детерминированный компилятор превращает состояние в управляющие сигналы для видеогенератора — модель не «вспоминает» мир, а рендерит его - Мир описывается по одному референсу и тексту — VLM-агент собирает всю спецификацию Результат: объекты не забываются, правила исполняются точно, 897 кадров без распада, разные миры на одном движке Прошли по кругу и вернулись к 3D моделированию, но с лишними шагами Гитхаб ждем #world

Кратко (AI)

Alaya Lab предложили подход к видеогенерации, при котором состояние мира описывается кодом, а не просто предсказывается нейросетью. Это позволяет объектам сохранять постоянство даже вне кадра и следовать заданным правилам, превращая видеогенератор в инструмент рендеринга данных.

Programmable World Model от Alaya Lab

Кратко (AI)

Обсуждение