Исследователи предложили метод DEdit — итеративное редактирование драфта в спекулятивном декодировании (speculative decodingi), технике ускорения инференса авторегрессионных языковых моделей. Вместо того чтобы улучшать архитектуру параллельных драфтеров (как в Domino, DSpark, DFlash2) или строить деревья предсказаний (DDTree), авторы предлагают повышать качество драфта за счёт нескольких последовательных проходов, по аналогии с диффузионными моделями.
Метод даёт прирост acceptance lengthi (длины принятия токенов драфта) на 0,5–1 токен по сравнению с базовыми подходами и ускорение генерации на 0,3–0,5x относительно ванильной авторегрессии — но пока неясно, оправдан ли этот выигрыш дополнительной стоимостью нескольких проходов драфтинга в условиях реального high-concurrency serving.
ВыводМетод строится поверх DFlash и DSpark и тестируется на стандартном наборе бенчмарков для спекулятивного декодирования