Как выбирать модели Claude: отказ от бенчмарков

Какую модель Claude выбрать Выбор LLM по таблице бенчмарков перестал быть рабочим методом. Вот что приходит ему на смену. Причина простая: тесты насытились. Сильные модели решают почти все задания популярных бенчмарков, разрыв между классами уходит в пределы пары процентов, и первая строка рейтинга больше ничего не говорит о том, какая модель нужна именно вам. Что предлагает Anthropic вместо этого — четыре опоры: 1. Понимать классы, а не ранги. Haiku — частые однотипные запросы, где решают скорость и цена. Sonnet — баланс под клиентские сценарии с требованиями к латентности. Opus — сложное многошаговое рассуждение. Fable — фронтир, задачи без готовых решений. 2. Стартовать сверху и регулировать усилие. Рекомендация — начинать с самой умной доступной модели и дальше подбирать не класс, а effort level. Один параметр двигает и качество, и стоимость, и это дешевле, чем перебирать модели. 3. Считать цену за задачу, а не за токен. Показательный замер на SWE-bench Pro: связка Sonnet 5 с советником Fable 5 дала результат в пределах 10% от Fable — за 63% его цены. Прайс за миллион токенов такой картины не покажет. 4. Закрывать выбор своими эвалами. Стандартный бенчмарк меряет среднюю задачу. Вам нужна ваша — на своих кейсах, со своими порогами по латентности и цене. Вывод, который останется верным и после следующего релиза: бенчмарк сужает список кандидатов, но решение принимает ваш прогон. Материал — по статье Anthropic «Claude Models Explained». @timurtaepov