Команда MERA обновила свой главный текстовый бенчмарк для русского языка. Причина — старые тесты перестали различать современные SOTA-моделиi, так как модели за последние годы заметно выросли в качестве. MERA Text 2.0i становится основной версией публичного бенчмарка, а предыдущая версия заморожена, хотя запуски по ней остаются поддерживаемыми.
Новая версия построена вокруг навыков, которые до сих пор сложно оценивать: юмор и персонажность, культурный контекст, работа со сложными инструкциями и логическое рассуждение. Оценка идёт по фиксированному протоколу и измеряет возможности самой модели, без дополнительных reasoning- и agentici-обвязок.
12новых приватных тестов в бенчмарке
4тематические группы тестов
2.0версия обновлённого бенчмарка MERA Text
- В MERA Text 2.0 вошли 12 новых приватных тестов, разбитых на четыре группы: Human-Centric (юмор, метафоры, персонажность), Culture-Specific (русский язык и культурный контекст), Agentic (сложные инструкции, структурированные ответы, использование инструментов), Reasoning (неоднозначность, логика, языковое рассуждение)
- Полный прогон бенчмарка занимает существенно меньше времени, чем раньше
- Датасеты и лидерборд опубликованы на сайте mera.a-ai.ru/ru/text/leaderboard и в коллекции на HuggingFace (MERA-evaluation/mera-text-v20)
- Среди датасетов особо отмечены LIMUR и RussianRegions — по словам одного из источников, они «очень мемные»
- Команда открыла приём сабмитов моделей на новую версию бенчмарка
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖