CMD: метод дистилляции для авторегрессивной генерации видео от NVIDIA
Н@GreenNeuralRobotsAI-инженер
1 недNVIDIA представила метод CMD (Context-Matched Distillation) для ускорения и улучшения контроля авторегрессивной генерации видео на базе Cosmos-Predict2.5.
Новый метод NVIDIA позволяет создавать длинные и качественные видео быстрее, сохраняя контроль над движением камеры.
- Ускоряет процесс генерации видео за счет оптимизации шагов.
- Позволяет интерактивно управлять камерой в процессе создания видео.
- Решает проблему «поплывшего хвоста» при генерации длинных сцен.
CMD (Context-Matched Distillation)
Метод дистилляции для авторегрессивной генерации видео от NVIDIA. #SOTA среди авторегрессивных методов
Учитель и ученик получают одинаковый контекст: кадр оценивается по тому же префиксу и контролю, что был у студента при генерации. Раньше учитель видел весь клип целиком включая будущие кадры которых студент не видел, и супервизия разъезжалась с реальными условиями генерации
В итоге меньше шагов на генерацию, можно интерактивно вмешиваться в процесс генерации, задавать движение камеры и получать длинные сцены без поплывшего хвоста
- База: Cosmos-Predict2.5 2B
- Шесть чекпоинтов: chunk-1 и chunk-4 (короткие/длинные + камера-контроль)
Гитхаб
HF
Демо
#optimization #cameracontrol #interactive #t2v #i2v
Кратко (AI)
NVIDIA представила метод Context-Matched Distillation (CMD) для авторегрессивных моделей генерации видео. Новый подход устраняет расхождение между учителем и учеником, позволяя генерировать видео быстрее и с более точным контролем камеры.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖