Выход локальной модели Bonsai 27B с 1-bit квантованием

⚡️ Локальные LLM стали серьёзнее: Bonsai 27B весит меньше 4 ГБ PrismML взяла модель класса 27B и сжала её через 1-bit quantization: с примерно 54 ГБ до 3.8–3.9 ГБ. Заявляют, что при таком сжатии модель сохраняет около 90% качества оригинала. Это уже размер, с которым можно думать не только про серверы, но и про ноутбуки, браузер и смартфоны. Есть и более качественная версия Ternary Bonsai 27B: около 5.9 ГБ и до 95% качества baseline. Модель поддерживает мультимодальность, reasoning, кодинг, tool calling и агентные сценарии. То есть это не просто локальный чат, а база для локальных AI-агентов. Для Bonsai уже сделали WebGPU demo: кастомные kernel’ы позволяют запускать модель прямо в браузере. По словам Xenova, часть WebGPU-кода помогали писать Fable 5 и GPT 5.6 Sol. HF collection: https://huggingface.co/collections/prism-ml/bonsai-27b WebGPU demo: https://huggingface.co/spaces/webml-community/bonsai-webgpu-kernels @ai_machinelearning_big_data #llm #ai #ml