DuoMatching: метод дистилляции видеомоделей от ByteDance
Н@GreenNeuralRobotsAI-инженер
2 недByteDance представили DuoMatching — метод дистилляции для ускорения генерации видео, объединяющий joint и marginal distribution matching.
Новый метод позволяет создавать качественные видео быстрее, что критически важно для снижения стоимости и времени работы нейросетей.
- Сокращает количество шагов генерации, ускоряя процесс без потери качества.
- Позволяет моделям обучаться одновременно на видео и изображениях для лучшей семантики.
- Не требует дополнительных вычислительных мощностей при использовании (инференсе).
DuoMatching
Метод дистилляции от ByteDance для быстрой генерации видео. Объединяет joint и marginal distribution matching, чтобы учиться сразу у видео- и у картинковых моделей, и даёт качество нескольких шагов почти в реальном времени.
• Генерация видео за несколько шагов вместо десятков, без доп. затрат на инференс
• Учится у видео-учителя и у картинковых моделей (перенос визуальных и семантических приоров)
• Дополняет joint-DMD явным маргинальным матчингом
• Ниже дрейф при автогрегрессивных роллаутах
Важные параметры
• Комбинация joint + marginal DMD
• Побеждает более 80% предпочтений людей в тестах
• Ноль лишних расходов на инференс
Совместный матчинг распределения кадров снимает большой дрейф, но ограничен в качестве и семантике. DuoMatching дополняет его помаргинальным матчингом для кадровых супервизий — на выходе качество и семантика без замедления
github.com/JohnZhan2023/DuoMatching
#optimization
Кратко (AI)
ByteDance представили метод DuoMatching, который ускоряет генерацию видео за счет дистилляции знаний от видео- и картинковых моделей. Технология объединяет совместное и маргинальное сопоставление распределений, что позволяет достичь высокого качества генерации за несколько шагов без увеличения затрат на инференс.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖