← к ленте

Пайплайн для оценки видео синтетической аудиторией

И@AImademydayAI-инженер
1 нед

Пайплайн анализирует видео с помощью Qwen3 VL и собирает оценки синтетической аудитории по анкетам, включая NPS и досматриваемость.

Мультиагентный мультимодальный пайплайн Как оценивать видео-контент синтетическими персонами? 🎞 в ролике показал пайплайн на базе мультимодальной видеомодели Qwen3 VL 30B и Qwen3.6-35B-A3B. Решение классической проблемы долгих и дорогих фокус-групп: видеоролик нарезается на сцены, анализируется моделью Qwen3 VL, транскрибируется с диаризацией по спикерам, после чего репрезентативная синтетическая аудитория (с профилями «Большой пятерки» и социодемографией) отвечает на вопросы из анкеты с оценкой NPS, досматриваемости и восприятия смыслов. Качество ответов контролируется независимым контуром валидации (LLM-as-a-Judge), а весь агентный граф оркестрируется через LangGraph + трейсинг через Langfuse. Тайм-коды
00:00 — Архитектура (Redis, MongoDB, S3) 00:31 — Концепция: оценка видео персонами 01:06 — Пайплайн: VAD, STT и Qwen3 VL 02:00 — Аудитория, параметры и анкеты 02:22 — Cтек: Qwen3.6-35B-A3B, Qwen3 VL 30B 03:45 — Создание аудитории на базе датасета 04:14 — Конструктор анкет 04:48 — Запуск и мониторинг пайплайна 05:55 — Результаты: таймлайн, кадры, ответы 06:35 — Метрики исследования 07:20 — Сегменты, аналитика 07:55 — Карточка персоны 08:48 — Версионирование и Настройки 09:14 — Prompt Studio 10:15 — LLM-as-a-Judge 11:00 — Биллинг токенов и OpenAPI 11:32 — Экспорт отчетов 11:35 — Интерактивный чат с персонами 12:08 — Шеринг отчета исследования 12:30 — Observability в Langfuse 13:35 — Планы: RAG и векторная БД
Стек: LangGraph, FFmpeg, Qwen3 VL 30B, Qwen3.6-35B-A3B, Silero VAD, STT GigaAM / Parakeet / Whisper. Observability: Langfuse. Backend & Data: FastAPI, PostgreSQL, Valkey (Redis), MongoDB, S3

Кратко (AI)

В посте описан мультиагентный пайплайн, который анализирует видео по сценам, распознаёт речь и формирует ответы синтетической аудитории с заданными личностными и социодемографическими профилями. Система оценивает NPS, досматриваемость и восприятие смыслов, а качество ответов проверяет отдельный контур LLM-as-a-Judge.

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖