Disaggregated quantization: оптимизация LLM через разделение префилла и генерации
L@lovedeathtransformersAI-инженер
4 недОбзор метода disaggregated quantization для LLM: использование разных квантованных версий одной модели для префилла и генерации с экономией памяти.
Этот метод позволяет запускать более крупные модели на менее мощном железе за счет эффективного управления памятью.
- Позволяет разделить вычислительные ресурсы для обработки контекста и генерации текста.
- Снижает требования к объему видеопамяти (VRAM) при работе с длинными промптами.
- Позволяет хранить часть весов модели на SSD без существенной потери скорости генерации.
Disaggregated quantization
Новая статья. Процессим LLM префилл и генерацию разными квантизациями одной модели. Дообучаем обе вместе с учетом того какой токен процессится какой моделью. Чекпоинт для префилла можно сгрузить на SSD, спрятав подгрузку за long-context промпт прцессиногом, чтобы память была как только у модели для генерации.
Статья: arxiv.org/abs/2609.26333
Код: GitHub
Qwen3.8 NVFP4 prefillers: HF Hub
Кратко (AI)
В новой статье представлен метод disaggregated quantization, позволяющий использовать разные уровни квантования для этапов префилла и генерации LLM. Это позволяет выгружать тяжелые веса префилла на SSD, освобождая видеопамять для генерации, и дообучать обе части модели совместно для сохранения точности.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖