Американский стартап Prism ML, выросший из команды Калтеха, представил Bonsai 2 27B — сжатую версию модели Qwen3.8-27B в тернарном квантовании. Модель занимает 5,9 ГБ против примерно 54 ГБ у оригинала в FP16, при этом сохраняет 98,2% среднего результата исходной модели на бенчмарках.

Благодаря компактности модель рассчитана на локальный запуск на потребительском оборудовании без отправки данных в облако — целевые сценарии включают агентов в редакторе кода, работу с компьютером и разбор документов.

Полный разбор →

Стартап PrismML представил Bonsai 27B — мультимодальную языковую модель на базе Qwen3.6-27B, сжатую до размера, который помещается на смартфон. Обычно модель такого масштаба в 16-битном виде занимает около 54 ГБ, а даже после 4-битного квантования — порядка 18 ГБ, что всё равно не влезает на телефон. PrismML использовала технику Quantization-Aware Trainingi (QAT), при которой веса заранее обучаются адаптироваться к дискретным значениям, а не просто округляются постфактум — это позволило сжать модель в 9–14 раз при потере лишь 5–11% качества.

Вышло две версии: 1-битная на 3,9 ГБ (около 90% качества оригинала) и тернарнаяi (веса −1, 0, +1) на 5,9 ГБ (до 95% качества). Обе поддерживают мультимодальность, рассуждения, кодинг, вызов инструментов (tool calling) и агентные сценарии — то есть это не просто чат-бот, а основа для локальных ИИ-агентов на устройстве.

Полный разбор →