Интересная по описанию либа
Humming от InclusionAI.
Позиционируется как легковесный, высокопроизводительный фреймворк с JIT-компилированными GEMM-операциями (под NVIDIA GPU).
⚙️ Он предлагает широкий ассортимент кернелов под разные конфигурации квантованных весов и активаций:
• 🧮 Веса можно квантовать почти в любую целочисленную битность от 1 до 8, а также в разные варианты FP.
• ⚡ Активации можно квантовать в FP16/BF16/FP8/FP4/INT8/INT4. FP8 поддерживается только начиная с Hopper, а FP4 — с Blackwell.
🧩 Ещё он работает с MoE и позволяет прикручивать адамаровы повороты в квантизацию.
🤷♂️ Утверждается, что он выдаёт SOTA-скорость и эффективность, но никаких чисел в README, да и вообще нигде, не приводится.
📊 Квантованных чекпоинтов с замерами качества и скорости тоже нигде нет.
🤔 Выглядит потенциально интересно для ресерча, но как будто не хватает нормальной доки и полноценного описания бенефитов. Могли бы Claude Code постараться напрячь, раз он у них и так многое делает.