TurboFieldfare: open-source движок для запуска Gemma 4 на Mac

Привет! Давно читаю Метаверсище, оч нравится, спасибо! Я хочу предложить новость в канал. Я сделал open-source инференс движок для Gemma 4 26B-A4B 4-bit. Движок использует всего 2gb ram при размере модели 14gb. Проект написан на Swift/Metal и запускается на любом MacBook с M-процессором, даже на M1 Air. Для того чтобы это работало, я использую стриминг весов с SSD и разные оптимизации. Кастомные fused kernels на Metal, репак весов в более подходящий формат, кеширование экспертов и I/O and compute overlap при работе с ними. Всего было более 100 разных экспериментов, все самое интересное описано в репе. Сейчас движок выдает 4-5 tok/s на M1 Air, 5-6 на M2 Air, 26-29 tok/s на M4 MacBook Pro и 31-35 tok/s на M5 MacBook Pro. Есть отдельное приложение на Mac, которое запускается буквально в одну команду. Надо только будет скачать веса с Hugging Face. Все абсолютно рабочее. Проект на GitHub называется TurboFieldfare, там есть красиво оформленная страничка и почти 80 звездочек Был бы очень благодарен за публикацию, это очень сильно мне бы помогло! https://github.com/drumih/turbo-fieldfare С радостью отвечу на любые вопросы по проекту!