Метод KAIST для сохранения объектов в видеогенерации
Н@GreenNeuralRobotsAI-инженер
3 недИсследователи из KAIST представили метод для видеогенерации, решающий проблему потери объектов при выходе из кадра с помощью панорамных наблюдателей.
Новый подход к видеогенерации решает проблему «исчезающих» объектов.
- Объекты сохраняют консистентность при выходе и возвращении в кадр.
- Панорамные наблюдатели позволяют отслеживать события вне основного поля зрения.
- Метод снижает вычислительные требования за счет гибкого разрешения обсерверов.
World Observer
Проблема видеомиров — объект при возврате теряется, замирает или превращается в «импостора». Решение — разделить наблюдение и действие
Метод от KAIST для видеомиров: когда объект уходит из кадра «актера», панорамные обсерверы продолжают за ним следить, и при возврате объект сохраняет состояние и динамику.
• Актер-вид генерируется вместе с панорамными обсерверами (наблюдателями)
• Объекты, ушедшие из кадра, продолжают эволюционировать в обсервере
• Обсерверы ставятся где хочешь — не привязаны к актёру
• Несколько обсерверов для полного покрытия сцены
• Раздельный промпт у обсервера — текст рулит событиями за кадром
• При возврате объекта восстанавливается его детальный вид
• Обсервер рендерится в гибком разрешении и с низкими требованиями
• Обучение на реальных панорамах + синтетика CARLA
• Работает на видео-DiT в одной токен-последовательности
Код ждем
#world #research
Кратко (AI)
Исследователи из KAIST предложили метод для видеогенерации, который разделяет «актера» (основной вид) и «обсерверов» (панорамных наблюдателей). Это позволяет объектам сохранять свое состояние и динамику даже после выхода из кадра, обеспечивая их корректное возвращение в сцену.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖