Подписчик каналов по имени Андрей опубликовал open-source инференс-движок TurboFieldfare, который позволяет запускать крупную модель Gemma 4 26B-A4Bi (4-bit) на любом MacBook с процессором Apple M — вплоть до базового M1 Air. Ключевая особенность: движку требуется всего 2 ГБ оперативной памяти при том, что сама модель весит 14-15 ГБ, за счёт стриминга весов прямо с SSD вместо полной загрузки в RAM.
Проект написан на Swift/Metali и включает готовое приложение для Mac в духе ChatGPT — без консоли, запускается одной командой, веса модели подгружаются отдельно с Hugging Face. Значимость истории — в демонстрации, что крупные LLM можно эффективно гонять на массовых потребительских ноутбуках без дорогого железа.
2gbтребуемая оперативная память
14gbразмер модели на диске
35 tok/sмаксимальная скорость на M5 MacBook Pro
