← к ленте

ATAS — фреймворк для согласованной генерации видео по сценарию

Н@GreenNeuralRobotsAI-инженер
1 нед

ATAS от ziplab разделяет память сцены и событий, чтобы сохранять согласованность локаций, действий и времени между кадрами.

ATAS (Any Time, Any Space) Просто атас фреймворк от ziplab для генерации видео по сценарию (шутки за 200). Держит общее состояние мира, чтобы сцены и события оставались согласованными даже в несоседних кадрах. • Скрипт компилируется в запросы на кадры с явными локацией, камерой и временем события • Две памяти: сцена со статической геометрией и события с динамикой по сцене, событию и времени • Перед генерацией достаёт доказательства из памяти, после — реконструирует клип и регистрирует его • Память обновляется только если отзыв и проверка состояния приняли наблюдение • Кадр остается в фильме независимо от того, попал ли он в постоянное состояние Разделение статической геометрии и динамики — ключевое: похожий кадр не подтянется, если он из другого события. Остается сложным точное воспроизведение «действие + состояние» Гитхаб Демо #consistency

Кратко (AI)

В посте представлен ATAS — фреймворк от ziplab для генерации видео по сценарию. Он использует отдельную память для статической геометрии сцены и динамики событий, но точное воспроизведение сочетания действия и состояния остается сложной задачей.

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖