VideoGen-Agent: мультимодальный агент для генерации видео
Н@GreenNeuralRobotsAI-инженер
1 месИсследователи из Принстона и Стэнфорда представили VideoGen-Agent — систему на базе Qwen3-VL-8B для итеративной генерации и доработки видео.
Это новый подход к созданию видео, где ИИ не просто «рисует» картинку, а самостоятельно исправляет ошибки и проверяет результат.
- Агент сам решает, когда нужно доработать видео, используя внешние инструменты.
- Система показывает значительный прирост качества (с 56.5 до 75.6 на бенчмарке VABench).
- Использование итеративного цикла проверки позволяет достичь более высокого качества без необходимости дообучения базовой модели.
VideoGen-Agent от Принстона и Стэнфорда
Мультимодальный агент, обученный агентным RL координировать инструменты для генерации видео. Не просто один прогон модели, а цикл: поискать контекст - сгенерировать - проверить - доработать
• аугментация - веб-поиск, поиск картинок, физическая симуляция PyBullet
• генерация - T2V, I2V, по движению и по референсам
• проверка - детекция объектов и оценка глубины готового ролика
• разделяет промпт на этапы и сам решает, когда остановиться
• поднимает базовый Seedance 1.0 с 56.5 до 75.6 (+19.1) на VABench
• со свежими инструментами на инференсе без дообучения - 86.1
• люди предпочитают его 84.3% сравнений
• базовая модель - Qwen3-VL-8B
Код ждем
#agent #assistant #t2v #ref2v
MAX
Кратко (AI)
Исследователи из Принстона и Стэнфорда разработали VideoGen-Agent, мультимодального агента, который использует обучение с подкреплением для координации инструментов генерации видео. Система работает циклично, выполняя поиск контекста, генерацию, проверку и доработку контента, что значительно повышает качество результатов по сравнению с базовыми моделями.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖