ATAS — фреймворк для согласованной генерации видео по сценарию
Н@GreenNeuralRobotsAI-инженер
1 недATAS от ziplab разделяет память сцены и событий, чтобы сохранять согласованность локаций, действий и времени между кадрами.
ATAS (Any Time, Any Space)
Просто атас фреймворк от ziplab для генерации видео по сценарию (шутки за 200). Держит общее состояние мира, чтобы сцены и события оставались согласованными даже в несоседних кадрах.
• Скрипт компилируется в запросы на кадры с явными локацией, камерой и временем события
• Две памяти: сцена со статической геометрией и события с динамикой по сцене, событию и времени
• Перед генерацией достаёт доказательства из памяти, после — реконструирует клип и регистрирует его
• Память обновляется только если отзыв и проверка состояния приняли наблюдение
• Кадр остается в фильме независимо от того, попал ли он в постоянное состояние
Разделение статической геометрии и динамики — ключевое: похожий кадр не подтянется, если он из другого события. Остается сложным точное воспроизведение «действие + состояние»
Гитхаб
Демо
#consistency
Кратко (AI)
В посте представлен ATAS — фреймворк от ziplab для генерации видео по сценарию. Он использует отдельную память для статической геометрии сцены и динамики событий, но точное воспроизведение сочетания действия и состояния остается сложной задачей.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖