Американский стартап Prism ML, выросший из команды Калтеха, представил Bonsai 2 27B — сжатую версию модели Qwen3.8-27B в тернарном квантовании. Модель занимает 5,9 ГБ против примерно 54 ГБ у оригинала в FP16, при этом сохраняет 98,2% среднего результата исходной модели на бенчмарках.

Благодаря компактности модель рассчитана на локальный запуск на потребительском оборудовании без отправки данных в облако — целевые сценарии включают агентов в редакторе кода, работу с компьютером и разбор документов.

• Основатель и руководитель Prism ML — профессор Калтеха Бабак Хассиби, специалист по теории сжатия; стартап вышел из стелс-режима весной 2026 года с анонсом первой версии моделей Bonsai
• Среди инвесторов Prism ML — Cerberus, Google и Samsung
• Модель имеет контекст 262 тысячи токенов, умеет обрабатывать изображения и вызывать инструменты
• В тернарном квантовании вес хранится не числом, а одним из трёх знаков — минус, ноль или плюс; величины задаются отдельно, веса разбиты на группы по 128 с общим множителем в FP16 на группу — в итоге 1,72 бита на вес против 16 у исходной модели
• Перед сжатием веса каждой матрицы разворачивают преобразованием Адамара; разворот вписан в веса, но при работе его нужно повторить на входных данных, иначе модель выдаёт бессмыслицу
• Блок распознавания изображений сжатие не проходил, лежит отдельным файлом на 0,6 ГБ и подгружается только при поступлении изображения на вход
• В релизе три варианта: GGUFi-упаковки PTQ1_0 (1,75 бита, 5,95 ГБ, быстрее на Ada и L4) и PQ2_0 (2,13 бита, 7,21 ГБ, быстрее на H100 и Blackwell), сборка под MLX на 8,60 ГБ со зрением, и тестовая упаковка Q2_0 для доработки ядер; для GGUF нужен специальный форк llama.cpp от Prism ML
• Бенчмарки Prism ML считала через EvalScope и vLLM на H100 в режиме рассуждения — всего 14 тестов, сравнение проведено с той же Qwen3.8-27B в квантованиях UD-Q4_K_XL и IQ2_XXS; среднее по всем тестам у Bonsai 2 27B — 84 (источники прерываются на этом значении)