Подписчик каналов по имени Андрей опубликовал open-source инференс-движок TurboFieldfare, который позволяет запускать крупную модель Gemma 4 26B-A4Bi (4-bit) на любом MacBook с процессором Apple M — вплоть до базового M1 Air. Ключевая особенность: движку требуется всего 2 ГБ оперативной памяти при том, что сама модель весит 14-15 ГБ, за счёт стриминга весов прямо с SSD вместо полной загрузки в RAM.

Проект написан на Swift/Metali и включает готовое приложение для Mac в духе ChatGPT — без консоли, запускается одной командой, веса модели подгружаются отдельно с Hugging Face. Значимость истории — в демонстрации, что крупные LLM можно эффективно гонять на массовых потребительских ноутбуках без дорогого железа.

• Автор использовал кастомные fused kernels на Metal, репак весов в более удобный формат, кеширование экспертов и overlap I/O и вычислений
• По словам автора, было проведено более 100 экспериментов, детали описаны в репозитории на GitHub
• Скорость генерации: 4-5 tok/s на M1 Air, 5-6 tok/s на M2 Air, 26-29 tok/s на M4 MacBook Pro, 31-35 tok/s на M5 MacBook Pro
• По данным Not Boring Tech, на MacBook Air M2 скорость составляет 5 токенов/с, а на M5 Pro — 35 т/с, что сравнивается с 0,5 т/с у альтернативы под названием Colibri
• Проект на GitHub называется turbo-fieldfare (github.com/drumih/turbo-fieldfare), число звёзд росло от почти 80 до более 110 и затем почти 150 за несколько дней освещения в разных каналах
• Модель занимает около 14-15 ГБ на SSD, но в оперативную память подгружается только 2 ГБ данных, а не всё целиком