Влияние квантования на качество моделей до 9B
T@extremecodeAI-инженер
2 недАвтор делится наблюдениями о деградации качества моделей до 9B параметров при использовании квантования Q4 и преимуществе формата Q8.
Выбор метода сжатия нейросетей напрямую влияет на их интеллект.
- Квантование Q4 критически снижает способности компактных моделей.
- Формат Q8 обеспечивает более высокое качество работы для моделей до 9B.
- Разработчикам стоит учитывать баланс между размером модели и потерей точности.
Короче, модели до 9B параметров зажатые в любой Q4_* лучше в принципе обходить стороной, они пздц как сильно тупеют. Q8 на их фоне смотрится как гигамозг.
Скажем спасибо, моей G0VN0 методике оценок моделей.
P.S.
Тесты еще до сих пор гоняю 🫠
Кратко (AI)
Автор утверждает, что модели с количеством параметров до 9B сильно теряют в качестве при квантовании до уровня Q4. В качестве альтернативы предлагается использовать формат Q8, который показывает значительно лучшие результаты.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖