metalСбросить фильтр ×

MLX: почему фреймворк Apple меняет правила игры для ML

т@techn0danyaAI-инженер
3 нед
MLX: почему фреймворк Apple меняет правила игры для ML

Разработчик выпустил TurboFieldfare — движок для запуска Gemma 4 26B-A4B на любом MacBook с чипом M

Подписчик каналов по имени Андрей опубликовал open-source инференс-движок TurboFieldfare, который позволяет запускать крупную модель Gemma 4 26B-A4Bi (4-bit) на любом MacBook с процессором Apple M — вплоть до базового M1 Air. Ключевая особенность: движку требуется всего 2 ГБ оперативной памяти при том, что сама модель весит 14-15 ГБ, за счёт стриминга весов прямо с SSD вместо полной загрузки в RAM.

Проект написан на Swift/Metali и включает готовое приложение для Mac в духе ChatGPT — без консоли, запускается одной командой, веса модели подгружаются отдельно с Hugging Face. Значимость истории — в демонстрации, что крупные LLM можно эффективно гонять на массовых потребительских ноутбуках без дорогого железа.

2gbтребуемая оперативная память
14gbразмер модели на диске
35 tok/sмаксимальная скорость на M5 MacBook Pro

Полный разбор →

Это всё на сейчас.