Veda: оптимизация внимания для видео-диффузии от ByteDance
Н@GreenNeuralRobotsAI-инженер
4 недByteDance представили Veda — метод разреженного внимания для видео-диффузии, ускоряющий генерацию до 5.1x без потери качества.
Новый метод позволяет генерировать видео с помощью нейросетей значительно быстрее, не жертвуя качеством картинки.
- Снижение вычислительных затрат на 90-95% делает генерацию видео доступнее.
- Ускорение работы моделей на потребительском железе, таком как RTX 4090.
- Метод масштабируется почти линейно, решая проблему квадратичной сложности стандартного внимания.
Veda от ByteDance, HKU и USTC
Разреженное внимание для видео-диффузии, которое не ломает качество. Полный attention учит предиктор выбирать только нужные 128-токенные тайлы - на 90-95% тратится меньше вычислений при почти незаметной разнице
• 90% разреженность на уровне полного attention по человеческим оценкам
• топ-k пропуск тайлов - внимание масштабируется почти линейно, а не O(N²)
• головы и слои получают свои формы тайлов - локальные и дальние зависимости
• дистилляция от полного attention через KL - до бинаризации маски
• 720P 241 кадр: 19.4 мин до 3.8 мин, ускорение 5.1x
• per-layer attention 10.5x быстрее FlashAttention-3
• 90% sparsity на WaverBench1.0 не проигрывает dense (50% против 49%)
Связка под #MiniMaxH3 #T2VA: Ускорение до 2.76x end-to-end на RTX 4090
Гитхаб
HF
Спасибо @m_franz
#optimization
Кратко (AI)
Исследователи из ByteDance, HKU и USTC представили метод Veda, который оптимизирует механизм внимания в моделях видео-диффузии. За счет использования разреженного внимания и предиктора, выбирающего только важные фрагменты данных, удалось добиться ускорения генерации до 5.1 раз при сохранении высокого качества видео.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖