Проект Qwen-Video-Editi предлагает метод редактирования видео без использования специализированных видео-трансформеров. Вместо этого система адаптирует возможности модели Qwen-Image-Edit для работы с видеопотоком.
Технология преобразует кадры видео в латентное пространство с помощью VAEi от Wan 2.1, после чего они объединяются в «виртуальную сетку» и обрабатываются как единое изображение. Для обеспечения временной связности и качества итоговый результат проходит дополнительную обработку через модель Wan 2.2.
45 кадровразмер сегмента видео
360pразрешение обработки
80 ГБвес модели Wan 2.2 A14B
- Процесс обработки включает последовательность: видео → Wan VAE → Qwen-Image-Edit → Wan VAE → Wan 2.2 enhancement.
- Видео разбивается на сегменты по 45 кадров, для каждого из которых можно задать индивидуальную текстовую инструкцию.
- Текущий чекпоинт оптимизирован для работы с разрешением 360p.
- Для работы системы требуются значительные вычислительные ресурсы: 40 ГБ для Qwen-Image-Edit DiT, 15 ГБ для текстового энкодера и 80 ГБ для модели Wan 2.2 A14B.
- Временная стабильность достигается за счет финального прогона через несколько шагов denoisei в модели Wan 2.2, так как базовая модель Qwen-Image-Edit не является темпоральной.
Разработчики опубликовали код и веса проекта, однако из-за высоких требований к памяти (суммарно более 135 ГБ) инструмент на текущем этапе является скорее экспериментальным решением для энтузиастов, чем готовым продуктом для продакшена.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖