Liquid AI представила компактную модель LFM2.5-2.6B для работы на устройствах

✔️ Liquid AI выпустила локального агента, который работает на телефоне LFM2.5-2.6B - компактная агентная модель на 2,6 млрд параметров. Она умеет планировать действия, вызывать инструменты и выполнять многошаговые задачи полностью на устройстве, без облачного API. Модель обучили примерно на 34 трлн токенов, расширили словарь до 128 тысяч токенов и добавили контекст 128K. Особенно интересно устроено дообучение: - отдельные модели-эксперты усиливали математику, код, tool use и длинный контекст; - затем их навыки перенесли в одну модель через on-policy distillation; - финальный этап прошёл внутри реальных агентных сред, включая Hermes Agent и OpenClaw. По тестам Liquid AI, модель выдаёт: - до 220 токенов/с на Apple M5 Max; - до 113 токенов/с на Ryzen AI Max+ 395; - около 30 токенов/с на смартфоне; - почти 15 000 выходных токенов/с на одной H100 при высокой параллельной нагрузке. При этом потребление памяти на CPU остаётся ниже 2,5 ГБ. В бенчмарках LFM2.5-2.6B обходит более крупные Gemma и Qwen в ряде задач на следование инструкциям и использование инструментов. В сложном программировании большие модели пока сохраняют преимущество. Есть поддержка llama.cpp, MLX, vLLM, SGLang и ONNX. Доступны базовая и дообученная open-weight версии. Источник: https://www.liquid.ai/blog/lfm2-5-2-6b #LiquidAI #opensource @ai_machinelearning_big_data