G-Star+: новый метод сэмплирования для моделей маскированной диффузии

Ошибок в тексте и коде у моделей маскированной диффузии теперь станет меньше Исследователи из лаборатории научных исследований Т-Технологий и Института ИИ и цифровых наук ФКН НИУ ВШЭ представили G-Star+ — метод сэмплирования для моделей маскированной диффузии. Работу представили на конференции ICML 2026 в Сеуле. В маскированных диффузионных моделях генерация происходит через последовательное заполнение замаскированных токенов. Проблема в том, что уже выбранный токен часто фиксируется навсегда, и в случае ошибки на раннем этапе внести какие-либо исправления сложно. G-Star+ работает как “внутренний редактор”. Он определяет токены с высокой вероятностью ошибки, повторно маскирует только их и переписывает подозрительные места позже. Вместо полного переобучения происходит дообучение одного дополнительного слоя – это экономит вычислительные ресурсы и позволяет фокусироваться на местах, где ошибка наиболее вероятна. G-Star+ был оценен на семи бенчмарках, включая генерацию кода, текста и следование инструкциям, и показал эффективность в режимах быстрой генерации (64–256 шагов). Метод может улучшать качество генерации текста и кода в ИИ-ассистентах, чат-ботах и при автодополнении кода. ссылка @cgevent