Фрагмент встречи об оптимизации затрат на LLM-пайплайны и AI-агентов

Обсуждение реальных замеров стоимости LLM-пайплайнов и AI-агентов: кэширование промптов, компактный ввод и вывод.

Фрагмент встречи про оптимизацию затраты на LLM пайплайны и AI агентов - enjoy! 00:00 Код, кэш и реальные замеры 00:21 Lead Scout: бизнес-задача 01:52 Onsa: какую работу можно убрать 08:47 Перенос идеи на Lead Scout 15:53 Качество, скорость и полная стоимость 21:24 Prompt caching: стабильный префикс 25:25 Компактный output 33:26 До эксперимента: ожидаемый эффект и границы 35:16 Кэш: проверяем реальные usage и стоимость 39:23 Компактный input: замер и проверка 42:54 Почему кэш не сработал 43:10 Что проверять в своём агенте

Кратко (AI)

В отрывке встречи разбирают способы снизить затраты на LLM-пайплайны и AI-агентов и проверить эффект на реальных замерах. В повестке — кэширование стабильного префикса, компактные ввод и вывод, а также проверка качества, скорости и стоимости.