Рекомендация локальной модели Huihui-gemma-4-12B-it
G@GameDEVгеймдев
1 месАвтор делится опытом использования локальной модели Huihui-gemma-4-12B-it, отмечая её высокую скорость работы на современных GPU и портативных устройствах.
Локальные нейросети становятся доступнее для запуска на обычном домашнем оборудовании.
- Позволяет использовать мощные языковые модели без облачных сервисов.
- Оптимизированные версии моделей работают быстро даже на мобильных чипах.
- Дает возможность пользователям работать с данными конфиденциально.
After a few days of trial and error, I have found the perfect all-around local model (can run from LM Studio or any other environment):
The knowledge is limited to January of 2024 but you can easily feed it with the data. Nearly instant on modern RTX cards, fairly usable even on Ryzen 6800U handhelds.
https://huggingface.co/huihui-ai/Huihui-gemma-4-12B-it-qat-q4_0-unquantized-abliterated-GGUF
#AI@GameDEV
Кратко (AI)
Автор поста рекомендует локальную языковую модель Huihui-gemma-4-12B-it как эффективное решение для запуска на потребительском железе. Модель показывает высокую скорость работы на видеокартах RTX и портативных процессорах Ryzen 6800U.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖