Исследование Яндекса и ШАД проверило нейросети в семи текстовых играх
C@campcodeAI-инженер
13 чВ MTGBench сравнили 16 моделей и выяснили, в каких текстовых играх режим рассуждений повышает качество.
Тест показывает, в каких задачах режим рассуждений действительно помогает нейросетям.
- В играх с подсказками и исключением вариантов режим рассуждений может повышать качество.
- В задачах на знания и понимание польза зависит от конкретной модели.
- Инженеры могут использовать результаты, чтобы подбирать модели под задачи.
Нейросети проверили на логику в «Поле чудес», «Данетках» и «Городах» — это исследование специалистов Яндекса и ШАД с международной конференции EMNLP 2026.
Речь о MTGBench — тесте из семи текстовых игр. С его помощью оценили, насколько хорошо ИИ умеет рассуждать, использовать новые данные и планировать действия. Тестили 16 моделей: от компактной Qwen до крупных Gemini и GPT.
Выяснилось, что режим рассуждений хорошо работает в играх, где нужно разбирать подсказки и отсекать неверные варианты. Например, в Wordle он заметно повышает качество. В задачах на знания и понимание смысла, вроде «Элиаса», эффект зависит от конкретной модели.
В итоге исследование поможет инженерам точнее понимать, где рассуждения приносят больше всего пользы, и выбирать модели под конкретные задачи 👍
Кратко (AI)
Специалисты Яндекса и ШАД представили MTGBench — тест из семи текстовых игр для оценки рассуждений, работы с новыми данными и планирования у ИИ. Сравнение 16 моделей показало, что режим рассуждений помогает в играх с подсказками и исключением вариантов, но в задачах на знания и понимание его эффект зависит от модели.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖