Релиз MAGI-2: опенсорс-модель для генерации видео со звуком

Представлена MAGI-2 — опенсорс-модель для генерации видео и звука с поддержкой T2V и I2V, требующая значительных вычислительных мощностей.

Появление мощных опенсорс-инструментов для генерации видео расширяет возможности создания контента без привязки к закрытым облачным сервисам.

Позволяет генерировать видеоролики длительностью до 10 секунд с синхронизированным звуком.
Поддерживает работу как по текстовому описанию, так и на основе исходных изображений.
Высокие системные требования ограничивают использование модели корпоративным сегментом и профессиональными студиями.

MAGI-2 Preview Опенсорс модель для генерации видео со звуком Но... 114B параметров. Веса - я даже считать не буду сколько, >300ГБ Требуется 8 GPU NVIDIA Hopper, Python 3.2 и CUDA, ffmpeg • генерация видео из текста (T2V) • генерация видео из промта и изображения (I2V) • создание звука и его микширование с видео • два этапа генерации: денойз и рефайн • разрешение 1080p после рефайна • длительность клипов 10 секунд Гитхаб HF - выложили базовую. Ждем дистиллированную API #av #t2v #t2av #i2v #i2av #api

Кратко (AI)

Вышла модель MAGI-2 для генерации видео и звука на основе текстовых и визуальных промтов. Модель отличается высокими требованиями к железу, включая 8 GPU NVIDIA Hopper и более 300 ГБ для весов.

Релиз MAGI-2: опенсорс-модель для генерации видео со звуком

Кратко (AI)

Обсуждение