Bonsai 27B: мультимодальная модель для смартфонов
Н@GreenNeuralRobotsAI-инженер
1 месПредставлена Bonsai 27B — мультимодальная модель для смартфонов с 1-битной квантизацией, сохраняющая до 95% качества оригинала.
Bonsai 27B
Самая крупная мультимодальная модель под смартфоны. 27B параметров упихали в телефон
1-битная квантизация снижает объем с 54 ГБ до 3.9 ГБ, сохраняя 90% качества оригинала
Ternary Bonsai 27B - около 5.9 ГБ - 95% качества
• мультимодальность, рассуждения, кодинг, tool calling и агентные сценарии
• Quantization-Aware Training вместо обычного квантования
• сохранение 89–95% качества при сжатии в 9–14 раз
• контекст 262K токенов
В базе Qwen3.6-27B
Кто хотел кодить на телефоне, держите:
Гитхаб
HF
#mobile #multimodal #assistant #optimization #coding
Кратко (AI)
Выпущена мультимодальная модель Bonsai 27B, оптимизированная для работы на смартфонах. Благодаря методам квантования, включая 1-битную версию, модель весом 27 миллиардов параметров сжимается до 3.9–5.9 ГБ при сохранении высокой точности и поддержке контекста в 262 тысячи токенов.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖