В России обсуждают создание специальных тестов (бенчмаркiов) для проверки языковых моделей на соответствие духовно-нравственным ориентирам и традиционным ценностям — перед их внедрением в поисковики, образовательные сервисы и умные устройства.

По данным PRO Hi-Tech, концепцию национального датасета для такого тестирования представил «Яндекс» — правительственной рабочей группе. Однако позже, как сообщает Код.ру, «Яндекс» опроверг, что представлял эту концепцию — источники противоречат друг другу в вопросе авторства инициативы.

• Предлагаемый национальный датасетi — стандартизированный набор тестовых заданий и эталонных ответов, который должен позволить объективно сравнивать разные ИИ-системы между собой.
• По данным PRO Hi-Tech, вокруг формата тестирования уже идёт дискуссия между ведомствами и бизнесом.
• Представители ФСБ настаивают на полностью закрытом формате тестов — чтобы разработчики не могли заранее «натренировать» нейросети на правильные ответы.
• IT-отрасль опасается, что закрытые экзамены замедлят разработку и превратят проверки в «лотерею»; предлагается компромисс — сделать часть тестовых вопросов публичной для предварительной настройки моделей.
• Код.ру уточняет, что «Яндекс» опроверг факт представления собственной концепции датасета, что ставит под вопрос данные PRO Hi-Tech об авторстве инициативы.