Исследователи из лаборатории научных исследований Т-Технологий и Института ИИ и цифровых наук ФКН НИУ ВШЭ разработали метод G-Star+ (Guided Star-Shaped sampleri) — «внутренний редактор» для моделей маскированной диффузии, которые генерируют текст и код. Работу представили на конференции ICML 2026i в Сеуле.
Проблема таких моделей в том, что уже размаскированный токен фиксируется навсегда: если модель ошиблась на раннем шаге, исправить это позже нельзя, и текст просто дописывается вокруг ошибки. G-Star+ решает это без полного переобучения модели — достаточно дообучить один дополнительный слой, который находит подозрительные токены, повторно маскирует их и даёт модели переписать позже.
ВыводМетод получил название G-Star+ (Guided Star-Shaped sampler); все зашумлённые состояния зависят только от чистого текста, а не друг от друга — на каждом шаге модель предсказывает полную чистую последовательность, и следующее состояние сэмплируется заново
64–256 шаговрежим быстрой генерации, где метод эффективен
3.4 против 9.2 секундывремя генерации на H200 (128 vs 512 шагов)
семи бенчмаркахчисло тестов, на которых оценивали метод
Полный разбор →