TimeLens2: поиск моментов в видео по текстовому запросу
Н@GreenNeuralRobotsAI-инженер
1 месПредставлена модель TimeLens2 для поиска событий в видеопотоке по текстовому описанию с использованием мультимодальных LLM.
TimeLens2
Модель для поиска моментов в видео по текстовому запросу. Превращает видеопоток в постоянную визуальную память с привязкой к сущностям. По запросу на естественном языке выдаст интервалы на временной шкале
• обрабатывает однократные и повторяющиеся события
• работает с видео от третьего лица и эгоцентрическими
• выдаёт один или несколько временных интервалов
• использует мультимодальные LLM
• есть несколько версий модели: TimeLens2-4B и TimeLens2-8B
Гитхаб
HF
Демо
#vlm #captioning #video2text #mllm
Кратко (AI)
Представлена модель TimeLens2, предназначенная для поиска конкретных событий в видео по текстовым запросам. Система работает с видео от третьего и первого лица, используя мультимодальные LLM для индексации визуальных данных.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖