Вопрос о производительности квантованных моделей и шине PCI-E
T@extremecodeAI-инженер
1 недАвтор обсуждает аномальные результаты бенчмарков квантованных моделей, где форматы iMatrix и 8-bit показывают большую скорость, чем Q4.
Эксперты из каментов, я с этими бенчмарками скоро с ума сойду.
Почему так ёпта?
PCI-E 4 / x4, на ЖПУ также только 4 линии распаяно.
В теории должны упираться в шину, какого хрена iMatrix, и уж тем более 8-и битки быстрее, чем очереднярные Q4?
Все в интернетах пишут типа, "АРРРЯЯ IQ медленные", какого хрена у меня они стабильно быстрее? Даже на нормальной жпу в pcie5 со всеми линиями (скрин в каменты к посту закину)
Параметры бенча дефолтные [--fit-target 1024], контекст 512 на pp, и 128 на tg
Кратко (AI)
Автор поста задается вопросом, почему квантованные модели в форматах iMatrix и 8-bit показывают более высокую скорость работы, чем стандартные Q4, несмотря на ограничения пропускной способности шины PCI-E 4.0 x4. Он отмечает, что наблюдает такую картину даже на более мощных конфигурациях с PCI-E 5.0.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖