StreamEval оценивает модели генерации видео в реальном времени

🔻 StreamEval: комплексный бенчмарк для стриминговых моделей от Nvidia Исследователи из NVIDIA, Tsinghua University, CMU, UC Berkeley, Princeton, NUS и Reactor опубликовали бенчмарк StreamEval, который оценивает способность моделей генерировать видео в реальном времени. Он проверяет, умеет ли модель выполнять запросы пользователя прямо во время стрима и при этом не ломать то, что уже есть в кадре. В бенчмарке 300 сценариев длиной от 15 до 300 секунд: поговорить с цифровым аватаром, попросить его поднять руку, сдвинуть камеру в сгенерированной сцене, перекрасить предмет в идущем видео. Авторы прогнали через StreamEval 37 моделей. Бенчмарк проверял пять типов задач. Результаты следующие: • Диалог с аватаром. Цифровой человек слушает речь пользователя, отвечает по смыслу и помнит, о чём шла речь раньше. Лучший результат у Vidu S2 Avatar: 75 из 100 за качество диалога. • Действия аватара. Аватар произносит заданный текст и по ходу выполняет команды вроде «подними правую руку» или «посмотри влево». Картинку модели держат хорошо: у Vidu S2 Avatar стабильность видео 97 из 100. А вот команды даже лидер корректно выполняет только в 37% случаев. • Генерация мира. Модель создаёт сцену и меняет её по командам: «лодка плывёт к причалу», «камера сдвигается вправо». Лучше всех команды выполняет Krea Realtime, и это всего 26% запросов. • Редактирование видео по тексту. В идущем видео нужно изменить объект по текстовой команде, например перекрасить вазу, и не испортить остальной кадр. Здесь лучший результат у Vidu S2 Editing: 57 из 100 за полностью корректные правки. • Редактирование видео по картинке. То же самое, но нужный вид объекта задаётся изображением. Это самая сложная задача: максимум 15 из 100. Проект открытый: код оценки опубликован на GitHub, тестовые сценарии с таймлайнами и медиафайлами выложены на Hugging Face, а результаты моделей собраны в лидерборде. #Benchmark