VAST выпустили EdenLive для генерации видео в реальном времени
Н@GreenNeuralRobotsAI-инженер
1 недEdenLive превращает прокси-стрим из 2D- или 3D-сцены в готовое видео; доступны модели на 14B и 5B с выводом до 720p.
Модель может превращать поток сцены из игрового движка в видео, не передавая ей управление самой сценой.
- Внешний код сохраняет состояние сцены и обрабатывает взаимодействия.
- Для версии 5B заявлен вывод 720p на одной видеокарте.
- Для первого кадра в реальном времени нужен блок FLUX.2 klein с некоммерческой лицензией.
EdenLive
Генеративная отрисовка видео в реальном времени
VAST выложили модель которая превращает черновой прокси-стрим в готовое видео
Что на входе
• Поток прокси из 2D или 3D сцены, игрового движка или записи
• Первый кадр и текстовый промпт
• Внешний код держит состояние сцены и взаимодействие, модель отвечает за картинку
Как устроено
• Управление идет через пост-обученный кодировщик DINOv3: признаки кадра прокси подаются в диффузионный трансформер
• Две ветки: 14B на Wan2.1 I2V для 480p и 5B на Wan2.2 для 720p, у каждой двунаправленный и потоковый режим
• Поток собирается чанками по 4 шага, декодер TAEHV дает 24 FPS и выше
• Есть демо на несколько минут, 5B в 720p работает на одной карте
Что с весами
• Около 210 ГБ ‼️, все компоненты в одной папке
• Блок на FLUX.2 klein нужен только для первого кадра в реальном времени, лицензия некоммерческая
huggingface.co/VAST-AI/EdenLive
github.com/VAST-AI-Research/EdenLive
#rendering #v2v #realtime
Кратко (AI)
VAST выложили EdenLive — модель, которая преобразует прокси-стрим сцены в готовое видео по первому кадру и текстовому промпту. В посте описаны две версии на базе Wan2.1 I2V и Wan2.2, потоковый вывод с частотой 24 FPS и выше и демо, где вариант 5B в 720p работает на одной видеокарте.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖