Runway представила исследовательскую превью-версию GWMi Worlds 2 — General World Model, которая генерирует непрерывный audio-video мир на лету и реагирует на действия пользователя. Фактически это попытка заменить игровой движок генеративной моделью: пользователь задаёт окружение, персонажей, стиль и правила мира, а затем управляет камерой, отдаёт команды персонажам и меняет сцену текстом в реальном времени.

Это развитие прошлогодней GWM-1i, которую Runway представляла как фундамент для трёх направлений — Worlds, Avatars и Robotics. Worlds 2 делает шаг вперёд: непрерывная audiovisual-генерация, управление несколькими субъектами одновременно, свободная камера и возможность менять сам мир прямо во время сессии.

• На старте задаются окружение, персонажи, визуальный стиль, атмосфера, правила мира и один стартовый кадр; мульти-референсного режима для отдельных персонажей, объектов и стиля Runway не заявляет
• Runway описывает GWM Worlds 2 как autoregressive diffusion modeli: новые кадры строятся на основе исходного описания мира, первого кадра, предыдущей генерации и текущих действий пользователя
• Пример сценария: сцена с корованами и грабежом в пустыне — можно заставить персонажей идти, взаимодействовать с объектами, менять погоду или освещение и одновременно свободно двигать камеру
• Для игровых демо текстовые команды можно привязывать к клавишам и мыши, из-за чего взаимодействие выглядит почти как обычная игра
• По данным Нейронавт, модель поддерживает смену дня и ночи, погоду и позволяет одному игроку продолжать исследование мира, пока другой меняет его текстовыми командами
• Аудиогенерация звука в реальном времени — новинка именно этой версии, отмечает канал «Нейросети: Волшебство ИИ, IT и маркетинг»
• Runway предупреждает, что на длинных сессиях модель не гарантирует хранение точного постоянного 3D-состояния каждого объекта