Progressive Disclosure для MCP/API: оптимизация токенов
L@llm_under_hoodAI-инженер
2 недОптимизация работы AI-агентов через Progressive Disclosure и SDK: как сократить расход токенов и упростить управление инструментами.
Новый подход к управлению AI-инструментами позволяет значительно экономить токены и упрощает разработку.
- Использование SDK вместо передачи всех инструментов в промпте экономит контекстное окно.
- Обновление логики работы агентов через код SDK происходит на лету без передеплоя API.
- Метод Progressive Disclosure позволяет масштабировать количество доступных агенту инструментов до тысяч без потери производительности.
Progressive Disclosure для MCP/API - экономия токенов в ~99%
Я вчера писал про 12 итерацию эксперимента с Personal OS, где я упаковал весь интерфейс для работы агентов и людей с версионированными документами (аналог своего GitHub + markdown) в две команды для CLI/MCP:
(1) start “task name” - начинает сессию и получает описание текущего SDK
(2) run “Python script”
Это позволило упаковать сложный функционал работы с документами, версиями в SDK. Агент начинает новую сессию, получает текущий SDK, видит его возможности и начинает писать код для выполнения задач. Код выполняется на сервере в песочнице (настоящей, а не контейнер) с ограничениями пользователя.
Это позволило перестать, наконец, делать новый деплой серверов API-шек и всех клиентов на каждое улучшение тулзов. Я смог прогнать пяток экспериментов по оптимизации SDK (более удобные функции) и сократил время праздношатания агентов в два раза.
А потом Дима @kuchin (спасибо тебе!) скинул ссылку на Cloudflare Code Mode, где сделали что-то подобное, только масштабом сильно больше - им надо было паковать 1M-2M токенов описывающих их 2549 AI tools. Благодаря progressive disclosure и Code Mode + SDK они смогли уменьшить расход токенов для типичных задач агентов этак раз в 1000, а число инструментов сократить до двух.
И вот тут я понял, что с таким подходом у нас не просто появилась среда, которая чуть улучшает подход с shared git repo + markdown и позволяет людям с агентами быстро обмениваться информацией без риска что-то безвозвратно потерять.
Теперь же можно в этот SDK вшивать процессы по работе с информацией в компании не словами, а кодом (например - как создавать инвойсы, где их хранить, откуда брать статистику, как версионировать), выкатывая новые версии SDK на лету (они подхватываются новыми сессиями агентов). И все это без опасения, что контекст моделек переполнится. Благодаря progressive disclosure, он как был в 1000 токенов, так и останется, даже если SDK вырастет до двух с половиной тысяч инструментов, как у Cloudflare.
Теперь только остается осознать все открывающиеся возможности.
Ваш, @llm_under_hood 🤗
Кратко (AI)
Автор делится опытом использования подхода Progressive Disclosure для оптимизации работы AI-агентов через SDK. Метод позволяет упаковывать сложные инструменты в код, сокращая расход токенов и избавляя от необходимости частых деплоев API. Ссылаясь на опыт Cloudflare, автор подчеркивает, что такой подход позволяет масштабировать количество инструментов без переполнения контекстного окна моделей.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖