Open-source инференс движок TurboFieldfare для моделей Gemma

Привет! Рубрика "крутые подписчики" Подписчик Андрей сделал open-source инференс движок для Gemma 4 26B-A4B 4-bit. Движок использует всего 2gb ram при размере модели 14gb. Проект написан на Swift/Metal и запускается на любом MacBook с M-процессором, даже на M1 Air. Для того чтобы это работало, я использую стриминг весов с SSD и разные оптимизации. Кастомные fused kernels на Metal, репак весов в более подходящий формат, кеширование экспертов и I/O and compute overlap при работе с ними. Всего было более 100 разных экспериментов, все самое интересное описано в репе. Сейчас движок выдает 4-5 tok/s на M1 Air, 5-6 на M2 Air, 26-29 tok/s на M4 MacBook Pro и 31-35 tok/s на M5 MacBook Pro. Есть отдельное приложение на Mac, которое запускается буквально в одну команду. Надо только будет скачать веса с Hugging Face. Все абсолютно рабочее. Проект на GitHub называется TurboFieldfare, там есть красиво оформленная страничка и почти 150 звездочек Навалите ещё, дело хорошее. https://github.com/drumih/turbo-fieldfare На вопросы Андрей ответит в коментах. @cgevent