Unsloth выпустила GGUF-квантизацию Muse Spark Open на 816 млрд параметров

Unsloth выпустила GGUF для Muse Spark Open: модель с 816 млрд параметров можно запускать локально на Mac Studio с 256 ГБ памяти.

Крупную модель теперь можно запускать локально на компьютере с 256 ГБ памяти.

Для самой компактной версии достаточно 256 ГБ памяти.
Увеличение контекста требует дополнительной памяти.
Для агентных задач Unsloth советует не опускаться ниже UD-IQ2_S.

🦥 816 млрд параметров на Mac Studio: Unsloth выпустила GGUF для Muse Spark Open Модель получила динамическую 2-битную квантизацию, с которой её можно запускать локально на машине с 256 ГБ памяти. Что внутри: • 816 млрд параметров, около 42,7 млрд активны на токен. • Вход: текст, изображения, видео и аудио. Выход: текст. • Контекст до 1 млн токенов. • Обучение на длинных задачах программирования, работе с инструментами и исследованиях. 256 ГБ хватает для самой компактной 2-битной версии, а увеличение контекста требует дополнительной памяти. Для агентных задач Unsloth рекомендует квантизацию не ниже UD-IQ2_S: самые маленькие варианты заметнее теряют качество. GGUF: https://huggingface.co/unsloth/Muse-Spark-Open-816B-A42B-GGUF Гайд: https://unsloth.ai/docs/models/muse-spark-open

Unsloth выпустила GGUF-квантизацию Muse Spark Open на 816 млрд параметров

Кратко (AI)

Unsloth выпустила GGUF-квантизацию Muse Spark Open с динамической разрядностью 2 бита. Самую компактную версию можно запускать локально на машине с 256 ГБ памяти; для агентных задач рекомендована квантизация не ниже UD-IQ2_S.

Unsloth выпустила GGUF-квантизацию Muse Spark Open на 816 млрд параметров

Кратко (AI)

Обсуждение