Исследователи предложили метод DEdit — итеративное редактирование драфта в спекулятивном декодировании (speculative decodingi), технике ускорения инференса авторегрессионных языковых моделей. Вместо того чтобы улучшать архитектуру параллельных драфтеров (как в Domino, DSpark, DFlash2) или строить деревья предсказаний (DDTree), авторы предлагают повышать качество драфта за счёт нескольких последовательных проходов, по аналогии с диффузионными моделями.

Метод даёт прирост acceptance lengthi (длины принятия токенов драфта) на 0,5–1 токен по сравнению с базовыми подходами и ускорение генерации на 0,3–0,5x относительно ванильной авторегрессии — но пока неясно, оправдан ли этот выигрыш дополнительной стоимостью нескольких проходов драфтинга в условиях реального high-concurrency serving.

• Метод строится поверх DFlash и DSpark и тестируется на стандартном наборе бенчмарков для спекулятивного декодирования
• На первом проходе модель делает первичное предсказание, на каждом следующем — пытается улучшить его, обусловливаясь предыдущим результатом
• Введён Proposal Mixi (аналог teacher forcing): для high-confidence токенов на вход следующего прогона подаётся ground truth, для low-confidence — предсказание как есть; веса для первичного прохода и редактирования общие
• Применяется расширение окна в процессе обучения: сначала учат на меньшем окне, затем расширяют его 16 → 24 → 32, одновременно уменьшая скорость затухания экспоненты в позиционном взвешивании лосса по токенам
• В боевом сетапе используется окно 32 и 3 прохода против окна 16 у бейзлайнов
• Все замеры ускорения выполнены для batch_size=1 и, по всей видимости, через обычный torch, а не через vLLM/SGLang-интеграцию
• Ablation показывает: именно итеративность позволяет эффективно использовать более широкие окна (W=2), тогда как для одношагового прохода окна больше 16 бесполезны; Proposal Mix даёт лишь небольшой прирост acceptance length