Стало уже общим местом напоминать при релизе новых моделей, что публикуемые бенчмарки хороши, как показатель динамики, но это малоприменимо к конкретным задачам, которые встречаются даже в разработке проектов. Ну, вот вам подтверждение — Mercor опубликовала Benchmark Map, карту того, насколько AI-бенчмарки покрывают работу в экономике США. За основу взята классификация O*NET Министерства труда: 923 профессии в 22 семействах и 18 797 задач. Из 29 публичных агентных бенчмарков LLM-судья сопоставил промпты с задачами. Задача считается покрытой, если ей соответствуют хотя бы 5 промптов. По этому критерию хотя бы одна покрытая задача есть только у 208 профессий, в 6 семействах таких профессий нет совсем, а около 90% рабочего времени американцев приходится на задачи со слабым покрытием или без него. Задачи, подверженные автоматизации через AI, представлены в бенчмарках примерно в 6 раз чаще остальных, самые важные для профессии — в 6–10 раз. Перекос виден и по фонду оплаты труда: например, задачи юристов покрыты плотно, а задачи судебных секретарей почти не покрыты. В общем, было бы логично после составления такой карты идти и составлять новые бенчмарки, хотя это и выглядит самовозобновляющимся процессом. Так что и к новым бенчмаркам относитесь сдержанно. https://www.mercor.com/research/labor-index/benchmark-map/