PDMD: метод дистилляции видео-диффузии в 4 шага от ByteDance

ByteDance представили PDMD — метод дистилляции видео-диффузии, позволяющий генерировать видео за 4 или 2 шага инференса без дополнительных сетей.

Технология позволяет генерировать качественное видео в разы быстрее, снижая требования к вычислительным мощностям.

Сокращение времени генерации видео до 2-4 шагов инференса.
Отсутствие необходимости в дополнительных нейросетях или сложных процессах обучения.
Доступность готовых решений для ComfyUI, что упрощает внедрение в рабочие процессы.

PDMD Метод дистилляции видео-диффузии в 4 шага от ByteDance. Убирает артефакты учителя одной строкой проекции — фильтрует ошибку студента без доп. сетей и проходов. Улучшает классический DMD: проектируешь вектор обновления перпендикулярно остатку студент-критик, отсекая ошибку критика. • Генерация видео за 4 и даже 2 шага инференса • Дистилляция MiniMax-H3-33B до 4 NFE • Одна строка проекции подавляет ошибку критика • Ничего лишнего: без вспомогательного loss, сетей и доп. проходов • MiniMax-H3-33B: 1344×768, 345 кадров, 4 сети-вызовов • Также вариант на 2 NFE • Лучший результат среди 4-шаговых методов на метриках качества и динамики Готовые ComfyUI-версии для #MiniMaxH3 на HF github.com/ZeamoxWang/pdmd huggingface.co/Iwannapose/minimax_h3_pdmd_4nfe_comfyui huggingface.co/Iwannapose/minimax_h3_pdmd_2nfe_comfyui #optimization MAX

Кратко (AI)

ByteDance представили метод PDMD для дистилляции видео-диффузионных моделей, который позволяет сократить количество шагов генерации до 4 или 2. Технология использует проекцию вектора обновления для фильтрации ошибок студента, не требуя дополнительных сетей или вспомогательных функций потерь. Метод успешно протестирован на модели MiniMax-H3-33B, обеспечивая высокое качество видео при минимальных затратах вычислительных ресурсов.

PDMD: метод дистилляции видео-диффузии в 4 шага от ByteDance

Кратко (AI)

Обсуждение