Оптимизация расходов на AI-агентов в Uber

​​Running a Software Factory Efficiently at Uber Scale В начале года была новость, что в Uber за первые 4 месяца 2026 года умудрились потратить весь плановый бюджет токенов за год. Они пытаются экономить и вот недавно выложили блогпост о том, как они держат под контролем расходы на агентов. Почему это актуально: больше 70% PR у них сейчас создают локальные или облачные агенты, инженеры написали 3.6k+ agent skills, и в день выполняется больше 30 тысяч запусков этих скиллов. С февраля по август 2026 недельные активные пользователи выросли в 7 раз, а количество агентных запросов - в 9.4 раза. Резать доступ они не хотели, поэтому стали резать стоимость. Всё считается через одну формулу: total spend = users × sessions/user × turns/session × requests/turn × tokens/request × price/token. Первые два множителя они хотят растить, а оптимизируют средние три - то есть ту работу, которую агент делает сам по себе. Что именно сделали: - Выбор модели по бенчмаркам из реальной работы. Для uReview (их агент код-ревью) бенчмарк собран из настоящих PR с известными багами, размеченных по сложности; считают precision/recall/F1 плюс cost per review, latency и шум. Смена модели подняла F1 и заметно уронила стоимость ревью. - Дефолтная модель для субагентов - послабее и дешевле. Это оказалось самым эффективным изменением: основная модель декомпозирует задачу и проверяет результат, субагенты просто выполняют. - Auto-compact на 400K токенов (даже для моделей с контекстом в 1M) и reasoning effort по умолчанию Medium. - Prompt caching с часовым TTL вместо пятиминутного. - MCP через CLI и tool search вместо предзагрузки схем. При сотне с лишним инструментов схемы съедали 50-70K токенов в каждом запросе. - Code-mode: несколько вызовов инструментов складываются в один Python-скрипт вместо отдельного хода модели на каждый. На простых SQL-запросах экономия 55-71%, на bulk-сценариях больше 90% (status poll просто не попадает в контекст). - Отдельная боль - SaaS MCP от вендоров: один workspace-сервер приносит 49 инструментов и ~22K токенов схемы. Их завернули в тот же гейтвей и тоже спроецировали в CLI. - AI Context Graph: 24 млн узлов и 80 млн рёбер из 30+ внутренних систем, с запросами на естественном языке. Пример из статьи: агент с графом нашёл нужную таблицу за 38 секунд, а тот же агент без графа 20 минут лазил по коду сервисов, поднял двух сабагентов, словил три ошибки и в итоге решил, что данные недоступны. - Видимость вместо жёстких лимитов: счётчик текущей стоимости прямо в статуслайне, алерты в Slack на 50/80/100% бюджета, и дашборд разбора сессий, который ищет 16 антипаттернов - Opus там, где хватило бы Sonnet; 40KB MCP-ответы, висящие в контексте и оплачиваемые на каждом ходу; протухший кэш после перерыва; 100K токенов инструкций и схем ещё до первого слова пользователя. Результат при фиксированной модели (февраль-июль): стоимость 1000 запросов упала почти на 34% от пика, стоимость сессии - на 52% от июньского пика, и это при семикратном росте использования. Главный вывод они формулируют так: гоняться за дешёвыми токенами менее выгодно, чем переносить работу из интерактивных сессий в managed-агентов, где полностью контролируешь роутинг моделей, харнесс и бюджет, и где у каждого агента есть свой бенчмарк. Uber blog #ai