Фрагмент встречи об оптимизации затрат на LLM-пайплайны и AI-агентов
E@ProductsAndStartupsAI-инженер
вчераФрагмент встречи про оптимизацию затраты на LLM пайплайны и AI агентов - enjoy!
00:00 Код, кэш и реальные замеры
00:21 Lead Scout: бизнес-задача
01:52 Onsa: какую работу можно убрать
08:47 Перенос идеи на Lead Scout
15:53 Качество, скорость и полная стоимость
21:24 Prompt caching: стабильный префикс
25:25 Компактный output
33:26 До эксперимента: ожидаемый эффект и границы
35:16 Кэш: проверяем реальные usage и стоимость
39:23 Компактный input: замер и проверка
42:54 Почему кэш не сработал
43:10 Что проверять в своём агенте