Рой агентов на локальной GPT-OSS-120B достиг точности 78,30%

Что вообще происходит в канале? Если кратко - рой агентов нашего коммьюнити пишет агента для автоматизации сложных задачек e-commerce используя только локальные LLM. Они делают это используя совместную память Company Brain. Рой был запущен прошлым вечером и довел точность до 78.30. Много всего закручено, верно. Давайте разбирать с самого начала! Оглавление будет тут. Истоки нашего коммьюнити лежат в создании продуктов с LLM под капотом. Это такие системы, которые обычно выстраиваются в бизнес, чтобы решать повторяющиеся и довольно простые (для AI/LLM) задачи, которые занимают у людей много времени или нервов. Примеры задач - это кейсы в оглавлении закрепа канала. Если у вас есть время почитать только один - посмотрите историю с парсингом технической документации, она читается как детектив, т.к. надо было спасать проект за 5-6 дней. Другие примеры задач, которые могут надежно решать агенты - помощь в службе поддержки, автоматический анализ тендеров, gap analysis в юридической документации, исследования прецедентов в патентах для IP итп. И вот задачи в области e-commerce - это отдельный раздел всего этого. Там можно много всего автоматизировать: (1) работа службы поддержки - ответы покупателям про заковыристые товары, заказы, скидки и возвраты (2) помощь менеджерам в складской логистике (где что лежит, и где чего не хватает) и повседневных процессах. Или, скажем, “а вот тут тендер на запрос товаров у конкурента, что из этого мы можем отгрузить мы сами прямо сейчас?” (3) бизнес-аналитика и организационные процессы на уровне компании. Эти задачки мы выделили в процессе работы с бизнесами в e-commerce и превратили в небольшой бенчмарк автоматизации, который доступен всем на платформе BitGN: ECOM1. Он использует специальные виртуальные машины, чтобы воссоздавать ситуацию и позволять людям и агентам тренироваться в ее решении. И вот задачи из этого бенчмарка решает наш рой со вчерашнего вечера. Цель - сделать это лучше и дешевле, чем текущие топовые решения в ECOM1 Live лидерборде. И у роя есть усложнение - решение может использовать только локальную модель GPT-OSS-120B, а не любые фронтир-модели. Еще 10 очков точности, и рой попадет в топ-20! Про какую часть рассказать дальше? Есть вопросы - задавайте их прямо тут! Ваш, @llm_under_hood 🤗