VideoCoCo: генератор видео с физически корректной анимацией

Представлен VideoCoCo — инструмент для генерации видео, использующий код как цепочку рассуждений для обеспечения физической корректности анимации.

Новый подход к генерации видео позволяет лучше контролировать физические взаимодействия объектов.

Использование кода как промежуточного этапа помогает нейросети лучше понимать законы физики.
Двухэтапный процесс (черновик -> фотореализм) снижает количество ошибок в движении объектов.
Инструмент может быть полезен для создания реалистичных симуляций и анимаций.

VideoCoCo Генератор видео с физически корректной анимацией. Использует код как цепочку рассуждений, чтобы сначала создать черновик с физикой, а потом превратить его в фотореалистичное видео пайплайн построен на базе OmniWeaving • создаёт нейтральный черновик (proxy-видео) с правильной физикой и движением • проверяет черновик на соответствие физическому плану • преобразует черновик в фотореалистичное видео по инструкции • включает набор Agent Skills для работы пайплайна • содержит игрушечный датасет из 8 видеопар (source и target) • есть скрипты для пакетного вывода Гитхаб HF ждем #t2v #simulation

Кратко (AI)

Представлен проект VideoCoCo, который использует программный код в качестве цепочки рассуждений для создания физически корректных видео. Система сначала генерирует черновик с правильной физикой на базе OmniWeaving, а затем преобразует его в фотореалистичный ролик.

VideoCoCo: генератор видео с физически корректной анимацией

Кратко (AI)

Обсуждение