DreamX-Creator: фреймворк для генерации видео со звуком в 2K
Н@GreenNeuralRobotsAI-инженер
1 месАнонс исследовательского фреймворка DreamX-Creator для нативной генерации видео и аудио в разрешении 2K на основе первого кадра и текстового промпта.
Появление моделей, которые одновременно создают видео и звук, делает контент более реалистичным и синхронным.
- Совместная генерация видео и аудио избавляет от необходимости подбирать звуковые эффекты отдельно.
- Технология позволяет создавать более качественные видеоролики с разрешением 2K.
- Развитие подобных инструментов упрощает процесс создания медиаконтента для авторов.
DreamX-Creator
Исследовательский фреймворк для нативной генерации видео со звуком в 2K. Первый кадр + текстовый промпт - модель генерирует видео и аудио совместно. Развитие идей Wan и OpenMOSS
- Gated Cross-Modal Attention: видео и аудиопотоки обмениваются информацией в обе стороны
- Финальный апскейл до 2K в один шаг сохраняет движение и тайминг звука
- Развитие идей Wan Team и OpenMOSS (MOVA)
- Ещё не для продакшена: веса, код инференса и инструменты оценки обещают позже
Код / веса ждем
#va #t2va #2k #i2va
VK | MAX
Кратко (AI)
Представлен исследовательский фреймворк DreamX-Creator, позволяющий генерировать видео вместе с аудиодорожкой на основе текстового промпта и начального кадра. Система использует механизм Gated Cross-Modal Attention для синхронизации потоков и поддерживает апскейл до 2K с сохранением динамики.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖