🔻
StreamEval: комплексный бенчмарк для стриминговых моделей от Nvidia
Исследователи из NVIDIA, Tsinghua University, CMU, UC Berkeley, Princeton, NUS и Reactor
опубликовали бенчмарк
StreamEval, который оценивает способность моделей генерировать видео в реальном времени. Он проверяет, умеет ли модель выполнять запросы пользователя прямо во время стрима и при этом не ломать то, что уже есть в кадре. В бенчмарке 300 сценариев длиной от 15 до 300 секунд: поговорить с цифровым аватаром, попросить его поднять руку, сдвинуть камеру в сгенерированной сцене, перекрасить предмет в идущем видео. Авторы прогнали через StreamEval 37 моделей.
Бенчмарк проверял пять типов задач. Результаты следующие:
•
Диалог с аватаром. Цифровой человек слушает речь пользователя, отвечает по смыслу и помнит, о чём шла речь раньше. Лучший результат у Vidu S2 Avatar: 75 из 100 за качество диалога.
•
Действия аватара. Аватар произносит заданный текст и по ходу выполняет команды вроде «подними правую руку» или «посмотри влево». Картинку модели держат хорошо: у Vidu S2 Avatar стабильность видео 97 из 100. А вот команды даже лидер корректно выполняет только в 37% случаев.
•
Генерация мира. Модель создаёт сцену и меняет её по командам: «лодка плывёт к причалу», «камера сдвигается вправо». Лучше всех команды выполняет Krea Realtime, и это всего 26% запросов.
•
Редактирование видео по тексту. В идущем видео нужно изменить объект по текстовой команде, например перекрасить вазу, и не испортить остальной кадр. Здесь лучший результат у Vidu S2 Editing: 57 из 100 за полностью корректные правки.
•
Редактирование видео по картинке. То же самое, но нужный вид объекта задаётся изображением. Это самая сложная задача: максимум 15 из 100.
Проект открытый: код оценки опубликован на
GitHub, тестовые сценарии с таймлайнами и медиафайлами выложены на
Hugging Face, а результаты моделей собраны
в лидерборде.
#Benchmark
