Мультиагентный мультимодальный пайплайн
Как оценивать видео-контент синтетическими персонами?
🎞 в
ролике показал пайплайн на базе мультимодальной видеомодели Qwen3 VL 30B и Qwen3.6-35B-A3B.
Решение классической проблемы долгих и дорогих фокус-групп: видеоролик нарезается на сцены, анализируется моделью Qwen3 VL, транскрибируется с диаризацией по спикерам, после чего репрезентативная синтетическая аудитория (с профилями «Большой пятерки» и социодемографией) отвечает на вопросы из анкеты с оценкой NPS, досматриваемости и восприятия смыслов.
Качество ответов контролируется независимым контуром валидации (LLM-as-a-Judge), а весь агентный граф оркестрируется через LangGraph + трейсинг через Langfuse.
Тайм-коды
00:00 — Архитектура (Redis, MongoDB, S3)
00:31 — Концепция: оценка видео персонами
01:06 — Пайплайн: VAD, STT и Qwen3 VL
02:00 — Аудитория, параметры и анкеты
02:22 — Cтек: Qwen3.6-35B-A3B, Qwen3 VL 30B
03:45 — Создание аудитории на базе датасета
04:14 — Конструктор анкет
04:48 — Запуск и мониторинг пайплайна
05:55 — Результаты: таймлайн, кадры, ответы
06:35 — Метрики исследования
07:20 — Сегменты, аналитика
07:55 — Карточка персоны
08:48 — Версионирование и Настройки
09:14 — Prompt Studio
10:15 — LLM-as-a-Judge
11:00 — Биллинг токенов и OpenAPI
11:32 — Экспорт отчетов
11:35 — Интерактивный чат с персонами
12:08 — Шеринг отчета исследования
12:30 — Observability в Langfuse
13:35 — Планы: RAG и векторная БД
Стек: LangGraph, FFmpeg, Qwen3 VL 30B, Qwen3.6-35B-A3B, Silero VAD, STT GigaAM / Parakeet / Whisper. Observability: Langfuse. Backend & Data: FastAPI, PostgreSQL, Valkey (Redis), MongoDB, S3