MC-Sparse: метод ускорения генерации видео и 3D
Н@GreenNeuralRobotsAI-инженер
2 недНовый метод разреженного внимания MC-Sparse от Fudan и Tencent Hybrid ускоряет генерацию видео и 3D в 1.8-2.3 раза без необходимости переобучения моделей.
Технология позволяет значительно ускорить работу генеративных нейросетей без потери качества.
- Ускорение генерации видео и 3D-моделей в 2 раза.
- Метод не требует переобучения существующих моделей.
- Снижение вычислительных затрат при сохранении детализации.
MC-Sparse
Метод разреженного внимания от Fudan и Tencent Hybrid для ускорения генерации видео и 3D без переобучения. Отсекает лишние токены, ускоряя денойзинг в 1.8-2.3×.
• Токен-уровневое разреженное внимание прямо на входе — drop-in ускорение, без ретрейна
• Группирует похожие query в GPU-тайлы и выбирает только важные KV-токены
• Компенсирует отброшенные вклады через кэшированный остаток
• Работает на MiniMax-H3 (видео) и генерации 3D-ассетов
Важные параметры
• 1.80× ускорение видео MiniMax-H3, 2.32× для 3D
• Плотность внимания всего 15%
• Сохранение мелких деталей при сильном разрежении
Разбирает три источника потери качества при разрежении: групповые ограничения, неточный отбор и отброшенный «хвост» вкладов. Находит точные выборки один раз на anchor-шаге и переиспользует их на следующих шагах денойзинга
github.com/dodododddo/mcsparse
Спасибо @m_franz
#optimization
MAX
Кратко (AI)
Исследователи из Fudan и Tencent Hybrid представили метод MC-Sparse, который ускоряет генерацию видео и 3D-контента за счет разреженного внимания. Технология позволяет сократить время денойзинга в 1.8-2.3 раза без переобучения моделей, сохраняя при этом высокую детализацию.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖