Hirify Feed — your shortcut to what’s next

вчера

Один флаг llama.cpp может резко замедлить обработку промпта – без ошибки и предупреждения. В обсуждении #28455 описан случай: при включённом Flash Attention выбор `q5_1` для KV-кэша переносил вычисление внимания с GPU на CPU. Модель продолжала работать, но скорость падала. Причина – отсутствие CUDA-ядер для выбранного формата кэша в стандартной сборке. В замерах автора на RTX 4080 обработка промпта ускорилась с 38 до 1348 токенов/с после замены q5_1 на q8_0. Это скорость чтения входного запроса, а не генерации ответа. Для затронутых сборок обходной вариант:


-fa on -ctk q8_0 -ctv q8_0

Ещё один поддерживаемый вариант – одинаковый q4_0 для K и V. Если нужен q5_1, автор предлагает пересборку с:


-DGGML_CUDA_FA_ALL_QUANTS=ON

Если GPU почти простаивает, а CPU загружен – проверьте формат KV-кэша и параметры сборки. Участник команды llama.cpp подтвердил, что проблема известна. https://github.com/ggml-org/llama.cpp/issues/28455

q5_1 в KV-кэше llama.cpp может перенести внимание на CPU

llama.cpp flash attention kv-кэш cuda производительность

релизИИ memtensor memt-1.0 память открытые модели бенчмарки memt-1.0-nano

MemTensor представила открытые модели MemT-1.0 со встроенной памятью

AI-редакция

2 источника · показать все· свернуть

Нейронавт | Нейросети в творчествеMemT-1.0: открытые модели со встроенной памятью Machine learning InterviewMemT-1.0-Nano — модель с долговременной памятью

собирается · 2обновлено 6 дн назад

MemTensor выпустила семейство открытых моделей MemT-1.0, которые сохраняют сведения из диалога во внутреннем состоянии и используют их в следующих ответах, вместо того чтобы каждый раз передавать всю переписку в контекст. Состояние можно сохранить в файл и восстановить в новой сессии — это позволяет агентам использовать прошлый опыт без постоянного увеличения контекста.

В семейство входят Nano на базе Qwen3.6-35B-A3B и Flash на базе DeepSeek-V4-Flash. По данным разработчиков, на истории в 128 тысяч токенов состояние памяти примерно в 66 раз меньше полного KV-кэшiа; при этом системы с текстовой памятью пока лучше справляются с точным поиском деталей в длинной истории.

66 разменьше полного KV-кэша

1,86 разаускорение на истории 128K

11бенчмарков памяти

Полный разбор →

memtensor memt-1.0 память открытые модели бенчмарки memt-1.0-nano

ИИ Железо llm оптимизация kv-кэш gpu нейросети

Что такое Token Eviction в LLM

T@kryak_startupAI-инженер

1 мес

🤬🤬🤬 Token eviction AI is a memory-management method for large language models. It deletes unimportant past data from the Key-Value (KV) cache to save GPU memory and speed up long text processing. https://github.com/openvinotoolkit/openvino.genai/blob/master/site/docs/concepts/optimization-techniques/kvcache-eviction-algorithm.md https://www.emergentmind.com/topics/token-eviction-mechanism

llm оптимизация kv-кэш gpu нейросети

Это всё на сейчас.

q5_1 в KV-кэше llama.cpp может перенести внимание на CPU

MemTensor представила открытые модели MemT-1.0 со встроенной памятью

Что такое Token Eviction в LLM