Сравнение Qwen 3.8: Q8_0 против FP8
Г@gmorevaAI-инженер
1 месСравнительный тест производительности и качества работы модели Qwen 3.8 в квантовании Q8_0 от Unsloth и официальном FP8 от Qwen.
Выбор оптимального метода квантования напрямую влияет на скорость и точность работы нейросетей в реальных задачах.
- Помогает разработчикам выбрать между Q8_0 и FP8 для запуска моделей на локальном железе.
- Демонстрирует влияние KV-кэша на работу с длинным контекстом.
- Показывает разницу в производительности между фреймворками llama.cpp и vLLM.
Qwen 3.8 Q8.0 против FP8
Продолжаю цепочку роликов про Qwen 3.8. Сегодня — битва двух титанов: квант Q8_0 от Unsloth (llama.cpp, 2×2080, NVLink) против официального FP8 от Qwen (vLLM, 2×3090).
Условия максимально честные: у обеих 8-битный KV-кэш (вы меня убедили отказаться от 4-битного), 200 000 контекста и самый крутой режим reasoning — X-High с неограниченным бюджетом на размышления. Никаких синтетических бенчмарков — только реальные задачи из моей работы, с одного и того же промпта, параллельно.
📹 YouTube | VK | Rutube | Dzen 📹
Кратко (AI)
Автор проводит сравнительный тест модели Qwen 3.8 в двух режимах: квантование Q8_0 от Unsloth и официальный FP8 от разработчиков Qwen. Тестирование проводится на реальных рабочих задачах с использованием 200 000 токенов контекста и максимальным режимом рассуждений.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖