PrismML представил Bonsai: 27B модель для локального запуска на смартфонах

Стартап PrismML анонсировал самую крупную модель в мире для запуска на смартфоне В представленной модели Bonsai 27 миллиардов параметров. Обычно на телефоне такую модель не запустишь: в сыром 16-bit она будет занимать примерно 54GB, и даже если сжать ее до 4-bit, все равно будет около 18GB. На смартфон не поместится. Bonsai же, при своем внушительном размере, оптимизирован именно под локальный запуск. Модель основана на Qwen3.6-27B, но разрабочики использовали не обычное округление весов, а технику Quantization-Aware Training. Это значит, что веса не обрубали, а учили постепенно адаптироваться к дискретным значениям. Технически, на прямом проходе веса округляются до дискретных значений, и модель считает предсказание уже с ними, как в финальной сжатой версии. Но на обратном проходе градиенты вычисляются так, будто округления не было, и это позволяет модели получать осмысленный сигнал для обновления весов, несмотря на то что сами веса дискретны. То есть модель как бы сама подбирает, как масштабировать свои веса наилучшим образом. Собственно, благодаря такой инженерии, модель сохраняет свыше 89–95% качества полноразмерной версии, и при этом занимает в 9–14 раз меньше памяти (см метрики в таблице). Для обычного квантования, которое съедает львиную долю качества, это просто феноменальные цифры. Есть тернарный вариант (веса −1, 0 или +1, занимает ~5.9GB) и классический 1-bit (3.9GB). Второй легко укладывается в iPhone 17 Pro. Оба варианта мультимодальные. Контекст 262K токенов. Опенсорс под лицензией Apache 2.0, вот веса: huggingface.co/collections/prism-ml/bonsai-27b. Кстати, CEO PrismML заявил, что ведет переговоры с Apple по поводу использования технологии стартапа в их устройствах.