Skywork AI представила игровой движок, где графику генерирует нейросеть Китайская компания Skywork AI выложила в открытый доступ экспериментальную систему нейросетевого рендеринга Matrix-Game 4.0, объединяющую игровой движок и генеративный ИИ. Традиционный движок отвечает за физику и геометрию, а гибрид из двух моделей Wan2.2 (по 5 млрд параметров каждая) преобразует каркас сцены в финальную графику. Система требует около 18,5 ГБ VRAM, а задержка ввода составляет менее 112 мс. На NVIDIA GeForce RTX 5090 система выдает 83 FPS, но только в разрешении 480p. Из-за специфики диффузионных моделей технология все еще подвержена геометрическим артефактам при быстрых поворотах камеры

SCoPE Модицфикация видеогенератора для управления камерой. Даешь ей один кадр и траекторию движения камеры - получаешь видео с заданным движением камеры У каждого пикселя картинки есть луч от камеры в сцену. Пока сцена не сгенерирована, непонятно что там, но луч уже задан пользователем. SCoPE добавляет этот луч в механизм внимания. Внимание начинает сравнивать не только "что изображено" но и "откуда смотрим". Два луча, которые пересекаются в одной точке сцены, усиливают друг друга, так модель понимает геометрию. • Все типы движения камеры: наезд, отъезд, облёт, подъём краном, произвольные пути • Можно прогнать сцену с несколькими траекториями • Управление с клавиш WASD • Пересъемка входного видео с новой камерой • Добавляет меньше 0.1% новых параметров - почти бесплатно Прикручено к #wan22 Гитхаб HF #cameracontrol