Обзор метода итеративного драфтинга DEdit

🧩 Метод DEdit предлагает следующее: - 🔹 На первом проходе делаем первичное предсказание. - 🔹 На каждом последующем проходе, обусловливаясь предыдущим, пытаемся его улучшить. Далее авторы вводят Proposal Mix (что-то наподобие teacher forcing): для high-confidence токенов с последнего предсказания модели подаём ground truth на вход следующему прогону модели, а low-confidence — as is. Утверждается, что это полезно. Веса для первичного прохода и редактирования одни и те же. Кроме того, ещё делают расширение окна. Сначала учат на одном, меньшем размере окна, а потом его расширяют (16 → 24 → 32), уменьшая скорость затухания экспоненты в позиционном взвешивании лосса по токенам. 🧪 Эксперименты Метод валидируют поверх DFlash / DSpark на стандартном наборе бенчей для спекдека. В своём боевом сетапе используют размер окна 32 и 3 прохода против 16 у бейзлайнов. Получают acceptance length на 0,5–1 больше, чем у бейзлайнов, и прирост ускорения против ванильной авторегрессионной генерации — 0,3–0,5x. Однако все замеры — для batch_size=1 и, по всей видимости, через ванильный торч, а не vLLM / SGLang-интеграцию. В ablation показывают, что именно итеративная генерация позволяет эффективно использовать более широкие окна (W=2), а для одношагового прохода окна больше 16 бесполезны. Proposal Mix даёт небольшой прирост длины принятия. 📝 Выводы Идея итеративного улучшения предсказания моделью выглядит разумной, но непонятно, насколько увеличение стоимости драфтинга за счёт нескольких проходов окупится в сценариях high-concurrency serving на эффективных движках инференса. Кроме того, нет сравнения с опцией просто увеличить драфт-модель до той же стоимости прямого прогона.