спекулятивное декодированиеСбросить фильтр ×

Автор критикует хайп вокруг Eagle4 и динамического спекулятивного декодирования

К@quant_prune_distillAI-инженер
45 мин
Капец хайпует плесень. Прошло 2 года и ничего не изменилось, Игл по прежнему крутит счётчик своих версий. Из нового - ничего нового, у авторов кончились гранты (бабки) и закупились инфлюенскрами на всю котлету: будь виральным либо сдохни. Смотрю и думаю, откуда ускорение, ну че то там че то там, оказывается Игл4 изобрёл динамический спекдек, ну то есть официально, ну наконец то заживем! Один из проплаченных блогов спалил зачем то ацепт 4/12 токенов в дереве, хотя авторы так старались ни слова об этом не писать Скоро 2027 а типы такие аааа нужно было хардвер авеар делать! За новое Лого осуждаю

Новый метод спекулятивного декодинга обгоняет DFlash на 24.7%

Команда опубликовала на архиве (arXiv) первый релиз своей разработки — метод спекулятивного декодинга для ускорения инференса языковых моделей. Заявлено ускорение в 4.37 раза по сравнению с обычным автогрессивным декодированием и превосходство над оптимизированным бейзлайном DFlashi на 24.7%.

Авторы называют результат state-of-the-art (SOTA), по крайней мере на модели Qwen3.6 — метод превосходит всё, что публично известно в этой области, включая DFlash. Тема значима для быстрого инференса на устройстве (on-device inference).

4.37-foldускорение декодирования
24.7%превосходство над DFlash

Полный разбор →

Это всё на сейчас.