Marionette: игровая модель мира от Alaya Lab

Alaya Lab представили Marionette — модель для генерации игровых миров, сочетающую формульную геометрию и ИИ для визуализации.

Новый подход к генерации видео позволяет создавать более стабильные и управляемые игровые сцены.

Разделение геометрии и визуализации помогает избежать искажений персонажей.
Позволяет задавать траектории движения и управлять действиями в кадре.
Технология все еще находится в стадии разработки и имеет проблемы с долгосрочной стабильностью.

Marionette Игровая модель мира от Alaya Lab. Учится предсказывать что будет дальше в сцене но не рисует все подряд нейросетью - геометрию считает формулой, а ИИ доверяет только внешний вид. Поэтому персонажи не рассыпаются на долгих роликах. • Основа внешности - Wan2.2-Fun-5B-Control, VideoX-Fun • Генерация игрового мира по одному референс-кадру и паре стартовых поз • Управление действиями персонажа • Прямое задание траектории - развороты, направление и скорость ходьбы • Качество кадра на уровне пиксельных моделей, но с реальной управляемостью • Пока косячит на долгих прогонах - персонажи уходят за край карты, внешность плывёт Гитхаб HF Демо #world #interactive VK | MAX

Кратко (AI)

Alaya Lab представили проект Marionette — модель для генерации игровых миров, которая использует математические формулы для расчета геометрии и нейросети для отрисовки внешнего вида. Это позволяет сохранять стабильность персонажей в динамических сценах, используя в качестве основы модели Wan2.2-Fun-5B-Control и VideoX-Fun.

Marionette: игровая модель мира от Alaya Lab

Кратко (AI)

Обсуждение