Mixture-of-Kittens: новый open-source MoE мегакернел для NVL72

Команда Cursor представила Mixture-of-Kittens — специализированный мегакернел для обучения MoE-моделей на системах GB300 NVL72.

Это решение ускоряет обучение сложных нейросетей на самом современном серверном оборудовании.

Позволяет эффективнее использовать вычислительные мощности систем NVL72.
Поддерживает обучение MoE-моделей, что критично для разработки крупных языковых моделей.
Оптимизировано под формат данных MXFP8 для повышения производительности.

Mixture-of-Kittens: our open-source MoE megakernel for NVL72s 📄 Блогпост 💻 Код Ребята из курсора реализовали MXFP8 мегакернел под названием Mixture-of-Kittens, где пофьюжены все операции для слоя смеси экспертов, специализированный под GB300 NVL72s. В отличие от MegaMoE от команды Дипсика 🐋, этот кернел не только под инференс, а под обучение.

Mixture-of-Kittens: новый open-source MoE мегакернел для NVL72

Кратко (AI)

Команда Cursor выпустила open-source мегакернел Mixture-of-Kittens, оптимизированный для работы с MoE-моделями на архитектуре GB300 NVL72. В отличие от решения MegaMoE от DeepSeek, данный инструмент поддерживает не только инференс, но и процесс обучения.

Mixture-of-Kittens: новый open-source MoE мегакернел для NVL72

Кратко (AI)

Обсуждение