Исследователи (в статье упоминаются «два Ильи и Дима») перенесли MMDi-лосс, ранее показавший себя в дистилляции диффузионных картиночных моделей, на диффузионные языковые модели. Подход заметно улучшает баланс качество/скорость (Парето-фронт) при генерации текста, снижая число шагов инференса без существенной потери качества.
Идея развивает более раннюю работу тех же авторов Scale-wise Distillation of Diffusion Models, где MMD-лосс применялся для ускорения диффузионных моделей изображений. Теперь аналогичная техника адаптирована под специфику текстовых диффузионных моделей — как дискретных, так и непрерывных.
ВыводMMD (Maximum Mean Discrepancy) — мера различия между распределениями P и Q через положительно определенный кернел k (линейный, RBF и др.), считается по формуле с тремя слагаемыми: E[k(x,x')] + E[k(y,y')] − 2E[k(x,y)].