GRACE: метод сжатия латентов для ускорения генерации видео

Новый метод GRACE от KAIST AI и Kakao Corp ускоряет генерацию видео в DiT-моделях до 15.5 раз за счет сжатия латентных токенов автоэнкодера.

Технология позволяет генерировать видео в разы быстрее, сохраняя высокое качество изображения.

Значительное снижение вычислительных затрат на генерацию видео.
Возможность запуска тяжелых моделей на менее мощном оборудовании.
Совместимость с существующими архитектурами без необходимости полного переобучения.

GRACE Метод сжатия латентов от KAIST AI и Kakao Corp: сжимает видео-автоэнкодер так, что DiT работает на 8× меньшем числе токенов. Ускорение 11.1× при том же качестве по VBench. • Сжимает предобученный автоэнкодер #Wan21 без потери совместимости с DiT • Генерация видео с 8× меньшим числом латент-токенов • Качество на уровне полного пайплайна по VBench • Без переобучения DiT с нуля — легкая адаптация LoRA • Wan2.1-I2V-14B: 32.8k → 4.3k токенов • Ускорение 11.1× при 480×832, 15.5× при 736×1280 • Инференс 78 с против 863 с на A100 80GB • Асимметричный денойзинг: база чистится раньше остатка github.com/cvlab-kaist/GRACE huggingface.co/chimaharicox/GRACE #optimiozation #t2v #i2v MAX

Кратко (AI)

Исследователи из KAIST AI и Kakao Corp представили метод GRACE, который сжимает латентное пространство видео-автоэнкодеров. Это позволяет моделям типа DiT работать с в 8 раз меньшим количеством токенов, обеспечивая ускорение генерации до 15.5 раз без потери качества по метрикам VBench.

GRACE: метод сжатия латентов для ускорения генерации видео

Кратко (AI)

Обсуждение