AVA-Encoder: система графов знаний для видеогенерации от Qwen
Н@GreenNeuralRobotsAI-инженер
1 недAVA-Encoder от Qwen преобразует видео в структурированный граф знаний, позволяя редактировать сцены и улучшать качество генерации видеоагентами.
Технология позволяет редактировать видео через текстовые графы, а не покадрово.
- Позволяет менять персонажей или освещение в видео через изменение структуры графа.
- Улучшает качество работы других видеогенеративных моделей без их переобучения.
- Использует реконструкцию видео из графа как метрику точности сжатия информации.
AVA-Encoder
Система от Qwen создает по фильму структурированный граф знаний: персонажи, сцены, события, объекты, стили, камера, аудио. Агент может читать этот граф, редактировать, переиспользовать
- Видео → граф знаний → обратно в видео. Реконструкция как метрика качества: чем точнее восстановил, тем больше информации сохранил энкодер
- Граф можно редактировать: заменить персонажа в сцене, поменять стиль освещения - зависимые элементы обновляются автоматически по связям
- Готовый граф можно скормить другим видеогентам (MovieAgent, FilmAgent, Anim-Director) - качество их генерации растёт без дообучения
- Два этапа оптимизации: внешний цикл обучает политику энкодера до деплоя, внутренний (опционально) дорабатывает граф конкретного видео на лету
Гитхаб
#vlm
VK | MAX
Кратко (AI)
Команда Qwen представила AVA-Encoder — систему, которая преобразует видео в структурированный граф знаний, включающий персонажей, объекты и параметры съемки. Этот граф позволяет редактировать видео на уровне метаданных и повышает эффективность работы других видеоагентов без необходимости их дообучения.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖