Qwen представила E-Commerce Bench для тестирования AI-агентов
M@ai_machinelearning_big_dataAI-инженер
1 месQwen выпустила E-Commerce Bench — новый бенчмарк для оценки AI-агентов в задачах долгосрочного управления интернет-магазином на основе реальных данных.
Это новый стандарт для проверки того, насколько AI-агенты способны к сложному долгосрочному планированию и принятию бизнес-решений.
- Бенчмарк имитирует реальные бизнес-риски, включая мошенничество и логистические ограничения.
- Позволяет объективно оценить, может ли модель автономно управлять процессами, а не просто отвечать на вопросы.
- Помогает разработчикам выявить слабые места в логике моделей при работе с долгосрочными задачами.
⚡️ Qwen представила E-Commerce Bench - новый бенчмарк для проверки AI-агентов на долгосрочном управлении бизнесом.
Агент получает ¥100 000 и должен целый год управлять интернет-магазином:
- искать поставщиков
- торговаться
- выставлять цены
- запускать акции
- контролировать склад
- управлять денежным потоком
Среда построена на реальных данных электронной коммерции.
Внутри:
- 6886 товаров
- 576 поставщиков
- 152 из них мошенники
- комиссии за хранение
- возвраты
- репутация
- ограниченный рабочий день
Оценка идёт сразу по 7 направлениям, поэтому одной модели, которая была бы лучшей во всём, пока нет.
Blog: https://qwen.ai/blog?id=e-commerce-bench
Paper: https://arxiv.org/abs/2608.30730
Project: https://ecbench.github.io
Code: https://github.com/QwenLM/E-CommerceBench
@ai_machinelearning_big_data
#Qwen
Кратко (AI)
Команда Qwen представила E-Commerce Bench — специализированный бенчмарк для оценки способностей AI-агентов в управлении бизнесом. Агенты должны в течение игрового года управлять интернет-магазином, выполняя задачи от поиска поставщиков до контроля денежных потоков в условиях, приближенных к реальности.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖