Студенты ШАДа и специалисты Яндекса представили MTGBenchi — открытый бенчмарк из семи текстовых игр на русском и английском языках. На 16 моделях исследователи оценили рассуждение, работу с новыми данными и планирование; статья вошла в Findings EMNLP 2026i.
Тест показывает, что режим рассуждений полезен не во всех задачах: он заметно помогает отбирать варианты по подсказкам, но в задачах на знания и смысл прирост зависит от модели. Бенчмарк может помочь выбирать модели и определять, где длинные рассуждения оправдывают затраты.
ВыводВ набор игр входят «Поле чудес», «Данетки», «Города», Wordle и «Элиас».
семитекстовых игр в бенчмарке
16моделей в исследовании
2026год конференции EMNLP