SCoPE: управление камерой в видеогенерации через модификацию внимания

SCoPE добавляет управление камерой в видеогенератор, встраивая луч камеры в механизм внимания, с минимумом новых параметров.

Появился способ дешево добавить точное управление камерой в готовые видеогенераторы без переобучения модели с нуля.

Позволяет задавать движение камеры (наезд, облёт, кран) для генерации видео из одного кадра
Минимальные затраты — менее 0.1% новых параметров к модели
Поддерживает управление с клавиатуры и пересъёмку существующего видео с новым ракурсом
Работает на базе модели wan22

SCoPE Модицфикация видеогенератора для управления камерой. Даешь ей один кадр и траекторию движения камеры - получаешь видео с заданным движением камеры У каждого пикселя картинки есть луч от камеры в сцену. Пока сцена не сгенерирована, непонятно что там, но луч уже задан пользователем. SCoPE добавляет этот луч в механизм внимания. Внимание начинает сравнивать не только "что изображено" но и "откуда смотрим". Два луча, которые пересекаются в одной точке сцены, усиливают друг друга, так модель понимает геометрию. • Все типы движения камеры: наезд, отъезд, облёт, подъём краном, произвольные пути • Можно прогнать сцену с несколькими траекториями • Управление с клавиш WASD • Пересъемка входного видео с новой камерой • Добавляет меньше 0.1% новых параметров - почти бесплатно Прикручено к #wan22 Гитхаб HF #cameracontrol

Кратко (AI)

SCoPE — модификация видеогенератора, позволяющая управлять траекторией камеры по одному кадру, добавляя луч камеры в механизм внимания модели. Поддерживает разные типы движения камеры, управление с WASD и пересъёмку видео с новой камерой, добавляя менее 0.1% новых параметров. Реализована для модели wan22, доступна на GitHub и HuggingFace.

SCoPE: управление камерой в видеогенерации через модификацию внимания

Кратко (AI)

Обсуждение