Личный опыт использования локальных LLM
G@GameDEVгеймдев
3 недАвтор делится субъективным мнением о качестве локальных языковых моделей и рекомендует две конкретные сборки для запуска через LM Studio.
Выбор эффективных локальных моделей для запуска на потребительском железе.
- Локальные модели сильно различаются по качеству настройки, а не только по размеру.
- Существуют специализированные модели, способные работать на ноутбуках при сохранении высокой производительности.
- LM Studio является популярным инструментом для запуска таких моделей.
And to remind you of bipolar nature of my mind, here are my notes on local LLMs:
1. 99% of them are horrible, just outright barely usable even for low-risk applications. Qwen 3.6 derivatives passed some benchmarks but SUX ARSE (Prism 27B included). Nvidia's own stuff is trash too.
2. The exact model is more important than the family. The size (8B, 12-14B, 27B, etc) maters less than how tuned and mixed it is.
3. For my goals I ended up with two very capable models:
https://huggingface.co/Brunobkr/OFFELLIA_Gemma-4-E4B-8b-Claude-4.6-Opus-Reasoning-MTP - a tiny 7.5B model but very well tuned for tech stuff. Makes some mistakes, so ask wisely. Can run on a laptop.
https://huggingface.co/mudler/gemma-4-26B-A4B-it-Claude-Opus-Distill-APEX-GGUF - fairly big MoE for all sorts of stuff. Eats tons of RAM, but Mix of Experts with APEX allows it to still be very fast.
And I run stuff via LM Studio
#AI@GameDEV
Кратко (AI)
Автор поста критикует большинство существующих локальных LLM, отмечая их низкое качество. В качестве рабочих инструментов он рекомендует две специфические модели, оптимизированные для технических задач, и упоминает использование LM Studio для их запуска.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖