Disaggregated Quantization: ускорение LLM через разделение префилла и генерации
Н@GreenNeuralRobotsAI-инженер
4 недНовый метод Disaggregated Quantization ускоряет LLM, используя разные типы квантования для префилла и генерации, экономя VRAM и повышая скорость работы.
Технология позволяет запускать большие языковые модели быстрее и на менее мощном оборудовании.
- Ускоряет обработку длинных промптов за счет оптимизированного префилла.
- Снижает требования к видеопамяти, позволяя запускать модели на более доступных GPU.
- Повышает экономическую эффективность генерации текста за счет использования низкобитных весов.
Disaggregated Quantization
LLM в два раза быстрее и дешевле
Префилл и генерацию теперь обрабатывают разными квантизациями одной модели. Префилл — быстрым NVFP4, генерацию — сверхлёгкими 1–3-битными весами. Чекпоинт префилла грузится на SSD, подгрузка прячется за длинным контекстом — памяти нужно как у модели только для генерации
Что это дает
• Длинные промпты летают — NVFP4 ускоряет загрузку контекста
• Генерация дешевле — 1–3 бита вместо 4–8, меньше трафика из памяти
• Память как у маленькой модели — чекпоинт префилла на SSD, не жрет VRAM
• Точность не падает — активацию на decode не квантизируют
Уже работает на Qwen3 и Gemma 3
Qwen3.8 NVFP4 prefiller на HuggingFace
#optimization #llm
MAX
Кратко (AI)
Метод Disaggregated Quantization позволяет раздельно обрабатывать префилл и генерацию в LLM. Префилл использует быстрый формат NVFP4, а генерация — сверхлегкие 1–3-битные веса, что снижает требования к VRAM и ускоряет работу с длинными контекстами.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖