⚡️ Liquid AI выжала почти BF16-качество из 4-битных моделей Компания выпустила новые Q4_0-чекпоинты для LFM2.5-230M, 350M, 1.2B и 2.6B, обученные через Quantization-Aware Distillation. Суть QAD простая: высокоточная модель выступает учителем для уже квантованной 4-битной версии. В итоге сохраняются низкое потребление памяти и высокая скорость Q4_0, но заметно возвращается качество, потерянное после обычной квантизации. По тестам Liquid AI новые модели сохраняют примерно 96,5–97,4% качества BF16. Для младших моделей QAD закрывает больше 70% разрыва между обычным Q4_0 и BF16. При этом скорость инференса остается на уровне обычного Q4_0, потому что формат GGUF, layout тензоров и runtime не меняются. Тестировали в том числе на MacBook Pro с M5 Max, Galaxy S26 Ultra и Raspberry Pi 5. https://liquid.ai/blog/qad

LFM2.5-230M: ультракомпактная модель работает на Raspberry Pi и почти любом современном телефоне Команда Liquid AI выпустила LFM2.5-230M — одну из самых маленьких языковых моделей на сегодня, всего на 230 миллионов параметров. Модели хватает 293 МБ памяти на Raspberry Pi 5 и 375 МБ на смартфоне. На Raspberry Pi 5 модель выдаёт 42 токена в секунду при декодировании, а на флагмане Galaxy S25 Ultra разгоняется до 213 т/с. Человек читает текст со скоростью примерно 5–7 т/с. На бенчмарках модель конкурирует с моделями вдвое больше и часто их обходит. Модель поставили на человекоподобного робота Unitree G1, и она работала на встроенном чипе NVIDIA Jetson Orin. Модель выступила в качестве слоя выбора навыков: берёт одну команду на обычном языке вроде «постой 2 секунды, потом иди вперёд со скоростью 1 м/с на 3 метра» и раскладывает её на последовательность вызовов готовых низкоуровневых навыков. Получается, что модель на 230 миллионов параметров может служить языковым интерфейсом управления для робота. Главное ограничение модели простое: ей нужно около 350MB RAM и более-менее современный процессор. Прямыми тестами авторов подтверждены запуск на одноплатнике Raspberry Pi 5. Заявлена поддержка чипов Apple, AMD, Qualcomm и Nvidia, ее потянет почти любой современный телефон или планшет, а на ноутбуках ресурсов с запасом. Часы тоже теоретически потянут, но на практике мешают нагрев и неемкая батарейка. Микроконтроллеры и простая бытовая электроника (чайники, лампочки, фитнес-браслеты, наушники) точно не потянут: там памяти килобайты, а не сотни мегабайт. Несмотря на размер, на бенчмарках модель обходит соперников вдвое крупнее. На тесте следования инструкциям IFEval она набрала 71.71 против 63.49 у Gemma 3 1B и 59.94 у Qwen3.5-0.8B. Сильнее всего она в вызове инструментов и извлечении данных, а вот для математики, кода и сложных рассуждений авторы её брать не советуют — она заточена под другое. Модель и веса можно скачать на Hugging Face, исходники и SDK лежат на Github. #Stateoftheart