Подозреваю, что сейчас все начнут обсуждать новую версию рейтинга Artificial Analysis — я уже видел комментарии, что в рейтинге стало больше закрытых тестов и вот, мол, посмотрите, как просели открытые модели. Действительно, в новом составе тестов версии v5 закрытых стало 60% против 45% в предыдущей v4.3, но вывод, что открытые модели больше занимаются бенчмаксингом, делать не стоит — можно подумать, проприетарные модели на таком не ловили. В итоговом рейтинге сохранился лидер — Opus 5.5, даже совпали его 58 баллов, но заметно выше поднялись модели OpenAI, а сильнее всех просел Kimi. Но в общем составе тестов убрали некоторые, с которыми справлялись все модели — это само увеличило разрыв. Кроме того, увеличилось количество задач, требующих использования инструментов и долгосрочного планирования. Заметно также влияние effort на результаты. Подозреваю, что любители OpenAI будут вовсю приводить еще и данные о стоимости задач — GPT 6.1 Sol зарабатывает свои 55 баллов, расходуя в среднем 1,27 доллара на задачу, а Opus 5.5 получает 58 баллов при средневзвешенной стоимости задачи в 10,04 доллара. Но в целом ясно, что ничего определенного сказать нельзя — то ли модели обучались на тестах, то ли сильные стороны одних моделей совпадали со старыми тестами и перестали совпадать с новыми, то ли одно из двух. А если добавить всякие харнессы да сочетать разные модели в одной задаче, то получится старая школьная шутка про злополучный бассейн, в который вода то втекает, то вытекает, а он резиновый и задолбался давно. https://artificialanalysis.ai/articles/artificial-analysis-intelligence-index-v5