Mask Forcing: метод дистилляции авторегрессивных видеогенераторов
Н@GreenNeuralRobotsAI-инженер
1 месНовый метод Mask Forcing от исследователей HKUST, LIGHTSPEED и UCLA улучшает качество дистилляции видеогенераторов, устраняя перенасыщение и сглаживание.
Метод позволяет создавать более качественные и динамичные видео с помощью нейросетей без увеличения вычислительных затрат.
- Улучшает визуальное качество видео, устраняя артефакты сглаживания и перенасыщения.
- Повышает точность следования инструкциям и динамику движений в сгенерированных роликах.
- Легко интегрируется в существующие процессы обучения моделей без изменения их архитектуры.
Mask Forcing (HKUST / LIGHTSPEED / UCLA)
Прием для дистилляции авторегрессивных видеогенераторов. Проблема: при дистилляции из двунаправленной модели в каузальную, видео часто получаются перенасыщенными и сглаженными. Mask Forcing это лечит, ничего не меняя в архитектуре.
Эффекты:
- Быстрее сходится и выше качество
- Больше динамики в движении, лучше следование инструкциям
- Чинится перенасыщение и сглаживание
- Работает и для длинных видео (30 сек в тесте с LongLive)
- Монтируется в любые существующие пайплайны AR дистилляции, chunk-wise и frame-wise
- Не требует реального видео, дополнительных стадий пост-трейна, изменений архитектуры или инференса
На видео слева Self-forcing, справа Mask forcing
Гитхаб
#optimization
VK | MAX
Кратко (AI)
Исследователи представили метод Mask Forcing для дистилляции авторегрессивных видеогенераторов, который решает проблему перенасыщения и сглаживания кадров при переходе от двунаправленных моделей к каузальным. Технология не требует изменения архитектуры или дополнительных стадий обучения и показывает высокую эффективность в генерации динамичных видео.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖