TurboFieldfare: запуск Gemma 4 26B-A4B на MacBook с 2 ГБ RAM
N@notboring_techAI-инженер
1 месНовая утилита TurboFieldfare позволяет запускать модель Gemma 4 26B-A4B на MacBook, используя всего 2 ГБ оперативной памяти.
🚀 Подписчик выпустил тулзу TurboFieldfare, которая запускает мощную Gemma 4 26B-A4B на любом (!) макбуке с чипом M — требуется всего 2 ГБ оперативной памяти вместо 16 ГБ.
• Модель занимает лишь 15 ГБ на SSD и подгружает только 2 ГБ данных в RAM, а не всё целиком.
• Работает быстро: на MacBook Air M2 5 токенов в секунду, а на M5 Pro — 35 т/с (вместо 0,5 т/с в Colibri).
• После установки консоль не нужна: есть удобное юзер-френдли приложение, похожее на ChatGPT.
Установить гигантскую LLM локально на макбук — тут.
@notboring_tech
Кратко (AI)
Вышла утилита TurboFieldfare, оптимизирующая работу большой языковой модели Gemma 4 26B-A4B на компьютерах Apple Silicon. Решение позволяет запускать модель при минимальном потреблении оперативной памяти, обеспечивая высокую скорость генерации токенов на чипах M2 и M5 Pro.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖