Вопрос о целесообразности использования LLM-as-a-judge для оценки квантованных моделей
T@extremecodeAI-инженер
1 месАвтор размышляет о необходимости внедрения метода LLM-as-a-judge для сравнения различных версий квантованных моделей и просит совета у сообщества.
Вопрос касается методологии оценки качества нейросетей после их сжатия.
- Метод LLM-as-a-judge позволяет автоматизировать оценку ответов моделей.
- Квантование моделей (например, Q4, Q8) снижает требования к железу, но может влиять на точность.
- Выбор правильного способа тестирования критичен для разработчиков, внедряющих локальные LLM.
Шел 3814-ый день погружения в локальный нейрослоп. Одебилел окончательно, начал строить домики из видеокарт, до самих бенчмарков пока не добрался.
Эксперты из каментов, стоит ли помимо перплексии делать простой тест на задачках из своего датасета в формате "llm as a judge"? Ну типа, я думаю нахрена на это время тратить, если разница в качестве между одной и той же квантованной моделью будет не такая сильная.
Вот между Q8 и Q4 есть видимая разница. А вот между различными версиями Q4 хз как проверять. Короче, сложна.
Кратко (AI)
Автор поста задается вопросом, стоит ли использовать подход «LLM-as-a-judge» для оценки качества квантованных моделей. Он сомневается в целесообразности таких тестов, так как разница между версиями квантования Q4 может быть незначительной по сравнению с различиями между Q8 и Q4.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖