SCoPE
Модицфикация видеогенератора для управления камерой. Даешь ей один кадр и траекторию движения камеры - получаешь видео с заданным движением камеры
У каждого пикселя картинки есть луч от камеры в сцену. Пока сцена не сгенерирована, непонятно что там, но луч уже задан пользователем. SCoPE добавляет этот луч в механизм внимания. Внимание начинает сравнивать не только "что изображено" но и "откуда смотрим". Два луча, которые пересекаются в одной точке сцены, усиливают друг друга, так модель понимает геометрию.
• Все типы движения камеры: наезд, отъезд, облёт, подъём краном, произвольные пути
• Можно прогнать сцену с несколькими траекториями
• Управление с клавиш WASD
• Пересъемка входного видео с новой камерой
• Добавляет меньше 0.1% новых параметров - почти бесплатно
Прикручено к #wan22
Гитхаб
HF
#cameracontrol