На конференции AI RnD Day Алёна Феногенова представила пять новых линеек тестов для оценки современных LLM на русском языке. Главный тезис: один общий балл в метрике плохо описывает модель для реального применения — качество зависит от связки «модель × обвязка × промпт × окружение», поэтому нужны раздельные замеры разных навыков.

Пять линеек охватывают разные аспекты: LIBRAi — работа с длинным контекстом, MERAi Reason — математические рассуждения, MERA Text 2.0 — языковые, культурные и прикладные навыки, RUMBA — память между сессиями, harness-bench-fasti — работа в агентной обвязке (выбор инструмента vs успешное выполнение действия в среде).

• LIBRA Mini: из 18 задач полной LIBRA выбрано 6 сложных, диапазон контекста от 4K до 512K токенов, запуск через lm-evaluation-harness; задачи требуют связывать факты из разных частей текста, отвечать по нескольким статьям Wikipedia, определять человека по теме диалога, считать уникальные абзацы среди повторов
• У Qwen3-30B-A3B-Instruct-2507 итоговая оценка на LIBRA падает с 62,2 на 4K токенов до 39,8 на 64K и до 12,6 на 128K — то есть важно смотреть не только на максимальное заявленное окно контекста, но и на изменение качества внутри него
• MERA Reason объединяет: Luzitania (251 олимпиадная задача), TMath (310 задач на комбинаторику, теорию чисел и геометрию), ruAIME (724 задачи с проверкой точного совпадения ответа), MMReD (128 шагов среды, вход ~8,7K токенов, рассуждение ~20K токенов); все тесты публичные
• MERA Text 2.0 сокращён до 12 датасетов и ~8700 запросов — это в 4,3 раза меньше прежнего объёма; данные разбиты на 4 группы: человеческая коммуникация, русскоязычный культурный контекст, базовые агентные навыки и рассуждение
• Бенчмарки линейки MERA разработаны совместно с Альянсом ИИ