Один флаг llama.cpp может резко замедлить обработку промпта – без ошибки и предупреждения.
В обсуждении #28455 описан случай: при включённом Flash Attention выбор
`q5_1` для KV-кэша переносил вычисление внимания с GPU на CPU. Модель продолжала работать, но скорость падала.
Причина –
отсутствие CUDA-ядер для выбранного формата кэша в стандартной сборке.
В замерах автора на RTX 4080 обработка промпта ускорилась
с 38 до 1348 токенов/с после замены
q5_1 на
q8_0. Это скорость чтения входного запроса, а не генерации ответа.
Для затронутых сборок обходной вариант:
-fa on -ctk q8_0 -ctv q8_0
Ещё один поддерживаемый вариант – одинаковый
q4_0 для K и V. Если нужен
q5_1, автор предлагает пересборку с:
-DGGML_CUDA_FA_ALL_QUANTS=ON
Если GPU почти простаивает, а CPU загружен – проверьте формат KV-кэша и параметры сборки. Участник команды llama.cpp подтвердил, что проблема известна.
https://github.com/ggml-org/llama.cpp/issues/28455 