Команда из IST и NVIDIA (первый автор @black_samorez) предложила метод Disaggregated Quantization: этапы prefill (обработка промпта) и decode (генерация ответа) одной и той же LLM обрабатываются разными квантизациями вместо единой точности для всей модели. Идея в том, что prefill упирается в скорость матричных умножений, а decode — в скорость памяти, поэтому их стоит сжимать по-разному: prefill в NVFP4i с квантованием и весов, и активаций, decode — только по весам, в сверхлёгких 1–3-битных форматах.

По данным источника 4, метод уже работает на Qwen3 и Gemma 3 и делает инференс в два раза быстрее и дешевле, при этом точность не падает, поскольку активации на decode не квантуются. Статья, код и первые чекпоинты уже опубликованы.

• Статья опубликована на arxiv.org/abs/2609.26333, код выложен на GitHub, чекпойнты Qwen3.8 NVFP4 prefillers доступны на HuggingFace Hub
• На prefill веса переквантовываются в NVFP4 (в том числе из LUT-3bit/LUT-2bit форматов) и используются эффективные FP4-GEMM; на decode применяется weight-only квантизация без сжатия активаций
• В версии Fully-Disaggregated Quantization исходная модель разделяется на prefill- и decode-модели, каждая инициализируется весами оригинала и дообучается через QAD (Quantization Aware Distillation)i — минимизацию KL-дивергенции логитов с исходной моделью
• Loss считается только по токенам ответа, но градиент протекает через KV-кэш и в prefill-модель, позволяя оптимизировать качество prefill-этапа заодно
• Задачи делятся на decode-heavy (длинные ответы, цепочки рассуждений) и prefill-heavy (объёмный вход, короткий ответ) — точность важнее сохранять на более интенсивном по вычислениям этапе; квантование обоих этапов сразу в NVFP4 даёт наибольшую ошибку
• Offloaded Disaggregated Prefill: чекпоинт prefill-модели можно хранить на SSD и подгружать блоками во время обработки long-context промпта, набирая KV-кэш, — так пиковая память в памяти равна памяти только decode-модели