Mixture-of-Kittens: our open-source MoE megakernel for NVL72s
📄
Блогпост
💻
Код
Ребята из курсора реализовали MXFP8 мегакернел под названием Mixture-of-Kittens, где пофьюжены все операции для слоя смеси экспертов, специализированный под GB300 NVL72s.
В отличие от MegaMoE от команды Дипсика 🐋, этот кернел не только под инференс, а под обучение.