Исследователи из лаборатории научных исследований Т-Технологий и Института ИИ и цифровых наук ФКН НИУ ВШЭ разработали метод G-Star+ (Guided Star-Shaped sampleri) — «внутренний редактор» для моделей маскированной диффузии, которые генерируют текст и код. Работу представили на конференции ICML 2026i в Сеуле.

Проблема таких моделей в том, что уже размаскированный токен фиксируется навсегда: если модель ошиблась на раннем шаге, исправить это позже нельзя, и текст просто дописывается вокруг ошибки. G-Star+ решает это без полного переобучения модели — достаточно дообучить один дополнительный слой, который находит подозрительные токены, повторно маскирует их и даёт модели переписать позже.

• Метод получил название G-Star+ (Guided Star-Shaped sampler); все зашумлённые состояния зависят только от чистого текста, а не друг от друга — на каждом шаге модель предсказывает полную чистую последовательность, и следующее состояние сэмплируется заново
• Первые ~70% шагов черновик пишется обычным способом (перемаскирование на ранних шагах разрушает несложившийся контекст), и лишь после этого включается режим правки
• Куда именно вносить правки, указывает отдельный лёгкий предсказатель ошибок, обученный на реальных промахах модели, а не на искусственных грубых ошибках
• За 128 шагов метод обгоняет по качеству и разнообразию текста лучший из прежних подходов с бюджетом 512 шагов — генерация происходит почти втрое быстрее: 3.4 секунды против 9.2 секунды на H200
• Предсказатель ошибок, обученный только на веб-текстах, переносится без дополнительного дообучения на код, математику и новости
• Главный недостаток метода — он не позволяет вставлять и удалять токены, только переписывать уже существующие
• G-Star+ оценили на семи бенчмарках, включая генерацию кода, текста и следование инструкциям; метод особенно эффективен в режимах быстрой генерации (64–256 шагов)