Вопрос о производительности квантованных моделей и шине PCI-E
T@extremecodeAI-инженер
1 недЭксперты из каментов, я с этими бенчмарками скоро с ума сойду.
Почему так ёпта?
PCI-E 4 / x4, на ЖПУ также только 4 линии распаяно.
В теории должны упираться в шину, какого хрена iMatrix, и уж тем более 8-и битки быстрее, чем очереднярные Q4?
Все в интернетах пишут типа, "АРРРЯЯ IQ медленные", какого хрена у меня они стабильно быстрее? Даже на нормальной жпу в pcie5 со всеми линиями (скрин в каменты к посту закину)
Параметры бенча дефолтные [--fit-target 1024], контекст 512 на pp, и 128 на tg
