Исследователи Яндекса и ШАДа представили MTGBench — открытый двуязычный бенчмаркi из семи текстовых игр для оценки 16 языковых моделей. Он проверяет, как модели рассуждают, планируют ходы и учитывают новые данные; статью приняли в Findings EMNLP 2026.

Результаты показывают: режимы рассуждений особенно полезны в задачах с подсказками и символами, но в задачах на знания и понимание смысла прирост меньше и зависит от модели. Это помогает оценивать, где более длинные и дорогие ответы оправданы, а где — нет.

• В бенчмарк вошли Wordle, «Цепочка слов», «Данетки», «20 вопросов», «Поле чудес», «20 признаков» и «Алиас»; каждая игра доступна на русском и английском.
• Ходы проверяются объективно: в четырёх играх — алгоритмом, в остальных трёх — LLM-судьёйi, отдельно прошедшим независимую валидацию.
• По данным исследования, сильные модели с режимом рассуждений догоняют или превосходят собранный авторами человеческий бейзлайнi, эффективнее играя и находя ответ за меньшее число ходов.
• Русский язык даётся моделям тяжелее, особенно задания с буквами; результат в одной игре не гарантирует такого же качества в другой.
• Код и данные MTGBench опубликованы на GitHub. Авторы также подготовили отдельную работу об оценке машинного перевода: для неё собрали 600 англо-русских переводов с тремя независимыми экспертными разметками каждого.