Команда из IST и NVIDIA (первый автор @black_samorez) предложила метод Disaggregated Quantization: этапы prefill (обработка промпта) и decode (генерация ответа) одной и той же LLM обрабатываются разными квантизациями вместо единой точности для всей модели. Идея в том, что prefill упирается в скорость матричных умножений, а decode — в скорость памяти, поэтому их стоит сжимать по-разному: prefill в NVFP4i с квантованием и весов, и активаций, decode — только по весам, в сверхлёгких 1–3-битных форматах.
По данным источника 4, метод уже работает на Qwen3 и Gemma 3 и делает инференс в два раза быстрее и дешевле, при этом точность не падает, поскольку активации на decode не квантуются. Статья, код и первые чекпоинты уже опубликованы.
ВыводСтатья опубликована на arxiv.org/abs/2609.26333, код выложен на GitHub, чекпойнты Qwen3.8 NVFP4 prefillers доступны на HuggingFace Hub
в 2 разаускорение и снижение стоимости инференса
1–3 битаточность весов на decode-этапе
Полный разбор →