Mixture-of-Kittens: новый open-source MoE мегакернел для NVL72
К@quant_prune_distillAI-инженер
3 недMixture-of-Kittens: our open-source MoE megakernel for NVL72s
📄 Блогпост
💻 Код
Ребята из курсора реализовали MXFP8 мегакернел под названием Mixture-of-Kittens, где пофьюжены все операции для слоя смеси экспертов, специализированный под GB300 NVL72s.
В отличие от MegaMoE от команды Дипсика 🐋, этот кернел не только под инференс, а под обучение.
