Мультиагентный мультимодальный пайплайн Как оценивать видео-контент синтетическими персонами? 🎞 в ролике показал пайплайн на базе мультимодальной видеомодели Qwen3 VL 30B и Qwen3.6-35B-A3B. Решение классической проблемы долгих и дорогих фокус-групп: видеоролик нарезается на сцены, анализируется моделью Qwen3 VL, транскрибируется с диаризацией по спикерам, после чего репрезентативная синтетическая аудитория (с профилями «Большой пятерки» и социодемографией) отвечает на вопросы из анкеты с оценкой NPS, досматриваемости и восприятия смыслов. Качество ответов контролируется независимым контуром валидации (LLM-as-a-Judge), а весь агентный граф оркестрируется через LangGraph + трейсинг через Langfuse. Тайм-коды

00:00 — Архитектура (Redis, MongoDB, S3) 00:31 — Концепция: оценка видео персонами 01:06 — Пайплайн: VAD, STT и Qwen3 VL 02:00 — Аудитория, параметры и анкеты 02:22 — Cтек: Qwen3.6-35B-A3B, Qwen3 VL 30B 03:45 — Создание аудитории на базе датасета 04:14 — Конструктор анкет 04:48 — Запуск и мониторинг пайплайна 05:55 — Результаты: таймлайн, кадры, ответы 06:35 — Метрики исследования 07:20 — Сегменты, аналитика 07:55 — Карточка персоны 08:48 — Версионирование и Настройки 09:14 — Prompt Studio 10:15 — LLM-as-a-Judge 11:00 — Биллинг токенов и OpenAPI 11:32 — Экспорт отчетов 11:35 — Интерактивный чат с персонами 12:08 — Шеринг отчета исследования 12:30 — Observability в Langfuse 13:35 — Планы: RAG и векторная БД

Стек: LangGraph, FFmpeg, Qwen3 VL 30B, Qwen3.6-35B-A3B, Silero VAD, STT GigaAM / Parakeet / Whisper. Observability: Langfuse. Backend & Data: FastAPI, PostgreSQL, Valkey (Redis), MongoDB, S3

Утро началось с письма счастья от OpenAI. Суть письма со скриншота примерно в следующем:

Теперь за $200 ты будешь получать в два раза меньше токенов. Вот тебе модель GPT-6.1-sol – начинай экономить. Можешь вот ещё по $500 в месяц тратить, если экономия тебе претит. Но там будет лишь немногим больше лимитов, чем у тебя сейчас (но мы их отберём в конце октября, потому что можем)

Интересно, что пару дней назад я говорил об этом на эфире. Кстати, вот тут есть в записи. Повторю мысль в текстовом формате:

Если у вас код в компании разрабатывается при помощи подписочных планов на внешние сервисы (Codex/Claude Code и т.д.) – это хрупкая конструкция. В любой момент провайдер может увеличить стоимость подписки, снизить лимиты или даже в одностороннем порядке изменить качество ответа моделей (мощности понадобились для раскатки новых моделей, например)

В качестве контр-аргумента я получил примерно следующее:

Ну, до этого момента ведь всё работало только лучше с каждым новым релизом!

И вот сегодня утром получаю подтверждение своим словам. Не хотел я оказаться прав так быстро... Проговорю ещё раз, как сохранить устойчивость агентных пайплайнов: 1. Отслеживание работы AI-агентов и её качества – must have. В этом деле может помочь, например, Langfuse (писал про него тут). Там недавно, кстати, v4 вышла. 2. Для разных этапов пайплайна – разные модели от разных вендоров. Это, в целом, немного увеличивает устойчивость процесса. Так как, благодаря наличию конкуренции, вендоры пока что чудят по одному, а не все и сразу (но скорость в AI-индустрии растёт, всё может измениться). 3. Для каждой выбранной модели должно быть обоснование в цифрах, почему она лучше всего подходит для данного этапа пайплайна и для неё зафиксировано соотношение цена/качество. 4. Если часть агентов у работает через oAuth и использует подписку, то стоит узнать, как изменятся расходы в случае, если придётся перейти на использование по API. Так как аккаунты иногда банят. 5. Иметь запасной план. На какую модель переходить определённому этапу пайплайна, если текущая станет недоступна. Как изменится при этом соотношение цена/качество. 6. Постоянно проводить работы по снижению зависимости от закрытых LLM. Как по подписке, так и по API. Потому что в любой момент их могут убрать из доступа или понёрфить. Относятся эти пункты, прежде всего, к ситуации, когда результат работы AI-агентов уйдёт конечному пользователю. Внутренние продукты только для себя или для коллег отдела могут обладать куда менее строгими требованиями.