Исследователи Яндекса и ШАДа представили MTGBench — открытый двуязычный бенчмаркi из семи текстовых игр для оценки 16 языковых моделей. Он проверяет, как модели рассуждают, планируют ходы и учитывают новые данные; статью приняли в Findings EMNLP 2026.

Результаты показывают: режимы рассуждений особенно полезны в задачах с подсказками и символами, но в задачах на знания и понимание смысла прирост меньше и зависит от модели. Это помогает оценивать, где более длинные и дорогие ответы оправданы, а где — нет.

ВыводВ бенчмарк вошли Wordle, «Цепочка слов», «Данетки», «20 вопросов», «Поле чудес», «20 признаков» и «Алиас»; каждая игра доступна на русском и английском.

Полный разбор →