Авторы новой статьи предлагают альтернативу стандартному алайнменту LLM: вместо того чтобы учить модель имитировать правильный ответ или максимизировать награду в среде (что часто приводит к overconfidence — избыточной уверенности модели в себе), метод учит модель избегать имитации неправильного ответа.

Для этого строится «negative teacheri»: студенческая модель сама генерирует решение задачи, затем ей же дают задачу и её собственное решение и просят через meta-prompt придумать инструкцию, которая направила бы рассуждение по плохому пути. Gold answer при этом не используется — модель не обязана знать, где решение действительно ошибочно, ей нужно лишь найти уязвимое место или предложить вредную стратегию рассуждения.

• Прямая оптимизация неправдоподобия не работает: многие токены неверного решения являются частями верных синтаксических и грамматических конструкций, и наивная оптимизация разваливает модель
• Решение — gating на разницу вероятностей референсной модели (с правильной инструкцией) и negative teacher: если negative teacher не повысил вероятность токена, тот не влияет на лосс
• Вместо неправдоподобия оптимизируют сигмоидальный штраф, чтобы ограничить величину лосса
• Для стабильности добавлена KL-дивергенцияi с исходной моделью — не ванильный вариант, а importance-weighted estimator на одном примере
• Метод протестирован на семействе Qwen3 (1.7B, 4B, 8B), обучение проводилось на MATH, оценка — на AIME, HMMT и других математических бенчмарках
• Сравнение с бейзлайнами OPSD, Intuitor, TTRL (вариант GRPOi) показало метрики чуть лучше базовых, а также, по заявлению авторов, снижение overconfidence и рост разнообразия исследуемых решений
• Шаг обучения дешевле бейзлайнов: GRPO требует сэмплирования группы роллаутов, а новому методу достаточно одного семпла; OPSD требует больше top-k вероятностей