Бенчмарк E-commerce AI Agent: победа архитектуры «Экзоскелет»
T@tips_aiAI-инженер
1 месРазбор победы агента Exoskeleton на бенчмарке ECOM1 от BitGN: как использование легких моделей и кодовой логики обходит тяжелые LLM.
Есть такой челлендж E-commerce AI Agent — это бенчмарк агентной коммерции от BitGN
Если коротко, ECOM1 — это симуляция операционки интернет-магазина, где AI-агенты отвечают за всё: корзины, товары, заказы, чекаут, фрод, возвраты, сбои оплат.
Среди участников был агент Exoskeleton от Ильяса Салихова, он CTO RetailCRM. Взял 1 место в Speed и в Live PROD. При этом работает на gpt-5.4-mini, что в 6 раз дешевле gpt-5.5, на которой строили агентов конкуренты.
Эту архитектуру Ильяс назвал «Экзоскелет»:
1/ Слабая модель mini внутри, а вокруг каркас из кода и nano-моделей. Ещё до старта агенту принудительно грузят все данные. Nano-классификатор разбирает намерения: фрод, манипуляция, подмена личности.
2/ Безопасность зашита в код, решения принимает логика. Ссылки на регламенты собираются автоматически, модели их помнить не нужно. В конце ещё одна nano причёсывает ответ.
3/ Тяжёлая логика вся в коде. Модель делает только то, в чём сильна.
В итоге обошёл агентов на старших моделях и по очкам, и по скорости.
Если вам интересно почитать подробности, то Ильяс опубликовал полную статью со схемами:
🇷🇺 Русская версия
🇬🇧 English
Ильяса поздравляю с результатом! У него еще есть свой канал про инженерию и AI, рекомендую подписаться.
Кратко (AI)
Агент Exoskeleton, разработанный CTO RetailCRM Ильясом Салиховым, занял первое место в бенчмарке ECOM1 от BitGN. Архитектура решения строится на использовании легкой модели gpt-5.4-mini в сочетании с жесткой кодовой логикой и nano-моделями, что позволило обойти конкурентов на более мощных моделях по скорости и стоимости.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖