Релиз квантованных версий модели Muse-Glimmer-30B
K@rybolos_channelAI-инженер
2 недВышли квантованные версии модели Muse-Glimmer-30B для Unsloth и MLX, включая форматы fp4 и 8bit.
Квантование позволяет запускать мощные нейросети на обычном домашнем оборудовании.
- Снижение требований к видеопамяти для работы с моделью Muse-Glimmer-30B.
- Возможность локального запуска больших языковых моделей на потребительских GPU.
- Поддержка популярных инструментов оптимизации Unsloth и MLX.
👍Unsloth
Вышла квантизпция Unsloth https://huggingface.co/unsloth/Muse-Glimmer-30B
И подробный гайд https://unsloth.ai/docs/models/muse-glimmer
🟣MLX
MLX — версии fp4, 8bit и другие https://huggingface.co/models?other=base_model:finetune:meta-models/Muse-Glimmer-30B
Кратко (AI)
Для модели Muse-Glimmer-30B стали доступны квантованные версии в форматах fp4 и 8bit. Поддержка реализована через инструменты Unsloth и MLX, что позволяет запускать модель на менее мощном оборудовании.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖