Прообраз Agentic LLM Бенчмарка Задачи туда я добавляю на основе анализа работы и ошибок топовых архитектур агентов из BitGN. Бенчмарк отвечает на вопрос - а в какую сторону изменятся качество, стоимость и скорость работы моего агента, если я возьму топовую архитектуру и пересажу ее на другую LLM? Задач пока загружено ~50% от минимально необходимого набора. Колонки и категории появятся потом, но уже есть оценка времени (берется медианное время) и стоимости. Если у модели есть значок молнии, значит она запускалась у компании с AI Акселератором (Groq или Cerebras). Какие нынче еще есть топовые модели, которые вы реально используете в продуктовых решениях в своих компаниях по API? Ваш, @llm_under_hood 🤗

Есть такой челлендж E-commerce AI Agent — это бенчмарк агентной коммерции от BitGN Если коротко, ECOM1 — это симуляция операционки интернет-магазина, где AI-агенты отвечают за всё: корзины, товары, заказы, чекаут, фрод, возвраты, сбои оплат. Среди участников был агент Exoskeleton от Ильяса Салихова, он CTO RetailCRM. Взял 1 место в Speed и в Live PROD. При этом работает на gpt-5.4-mini, что в 6 раз дешевле gpt-5.5, на которой строили агентов конкуренты. Эту архитектуру Ильяс назвал «Экзоскелет»: 1/ Слабая модель mini внутри, а вокруг каркас из кода и nano-моделей. Ещё до старта агенту принудительно грузят все данные. Nano-классификатор разбирает намерения: фрод, манипуляция, подмена личности. 2/ Безопасность зашита в код, решения принимает логика. Ссылки на регламенты собираются автоматически, модели их помнить не нужно. В конце ещё одна nano причёсывает ответ. 3/ Тяжёлая логика вся в коде. Модель делает только то, в чём сильна. В итоге обошёл агентов на старших моделях и по очкам, и по скорости. Если вам интересно почитать подробности, то Ильяс опубликовал полную статью со схемами: 🇷🇺 Русская версия 🇬🇧 English Ильяса поздравляю с результатом! У него еще есть свой канал про инженерию и AI, рекомендую подписаться.

Бенчмарк Anthropic Fable на бизнес задачах после лоботомии @AigizK успел сделать бенчмарк Anthropic Fable до того, как его закрыли. Тем интереснее стало сравнить на том же бенчмарке новую экспортную версию после открытия заново. И там получается грустная картинка. Новый Anthropic Fable урезали настолько, что модель упала с 12 места на 39ое в нашем бенчмарке. Основная причина - 15 пустых ответов с stop_reason=“refusal” там, где раньше были ответы. Просели тщательно подобранные, но совершенно безопасные задачи на кодинг и интеграцию. В общем, с такими параметрами и стоимостью, особого смысла использовать Antropic Fable - нет. GPT-5.5 сильно лучше и куда дешевле. Ваш, @llm_under_hood 🤗