Обновление библиотеки DeepGEMM
К@quant_prune_distillAI-инженер
1 месDeepGEMM получил обновление с новыми оптимизациями: Sparse Indexer, Mega Gate, Mega mHC и интеграцию с DeepJIT для ускорения работы моделей.
Новые методы оптимизации позволяют значительно ускорить работу нейросетей на GPU.
- Ускорение вычислений на 30–75% за счет новых методов слияния операций.
- Повышение эффективности обучения моделей за счет оптимизации backward-проходов.
- Интеграция с DeepJIT упрощает работу с динамической компиляцией кода.
Мощное обновление DeepGEMM
👨💻 PR
Добавляют:
• Sparse Indexer из DeepSeek-V4.1-Flash
• Mega Gate - слияние гейтов и GroupedGEMM (дает 30–75% ускорения против чего-то)
• Mega mHC - слияние mHC и RMSNorm в единый кернел
• Интеграцию с DeepJIT
Оптимизировали:
• Backward в GroupedGEMM на 20%
• Mega MoE оптимизации под V4.1
Само обсуждение, как с участием кожаных мешков, так и ИИшки, на китайском, чтобы варвары ничего не поняли.
Кратко (AI)
Библиотека DeepGEMM получила значительное обновление, включающее внедрение Sparse Indexer из DeepSeek-V4.1-Flash, новые методы слияния операций (Mega Gate, Mega mHC) и интеграцию с DeepJIT. Оптимизации направлены на ускорение вычислений, включая 20% прирост производительности в backward-проходах GroupedGEMM.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖