Google представил агентный режим обработки видео в Gemini
T@tips_aiAI-инженер
1 месGoogle внедрил новый агентный режим для моделей Gemini, позволяющий динамически анализировать видео, аудио и транскрипты через API.
Новый способ обработки видео делает ИИ-анализ быстрее и точнее.
- Позволяет моделям самостоятельно выбирать кадры и фрагменты для анализа вместо обработки всего видео целиком.
- Снижает затраты и повышает скорость работы с видеоконтентом.
- Улучшает качество понимания видео за счет одновременного анализа картинки, звука и текста.
Так же Google выпустили новый агентный режим обработки видео в Gemini
В этом режиме у модели теперь есть больше свободы выбора и тулов для понимания видео:
- Анализировать одновременно картинку, аудио и транскрипт
- Менять FPS и разрешение
- Переходить к нужному таймкоду и запрашивать отдельные кадры
- Делать транскрипт отдельных участков
- Повторять несколько циклов анализа подряд
Для контекста, раньше Gemini просто заранее семплировал видео целиком, примерно 1 кадр/сек + аудио, и просто читал размеченные таймстемпы
Поэтому новый режим дешевле, быстрее и точнее (гляньте видео)
Сейчас только по API, для моделей Gemini 3.7 Flash, 3.6 Flash и 3.5 Flash-Lite.
Позже они хотят еще интегрировать его в Ask YouTube
Да, у Google не самые умные модели, но для агентного понимания видео как будто ничего лучше сейчас не существует ☕️
@tips_ai #news
Кратко (AI)
Google запустил новый агентный режим для моделей Gemini, который позволяет более эффективно обрабатывать видео за счет динамического анализа кадров, аудио и транскриптов. В отличие от старого метода с предварительным семплированием, новый подход обеспечивает большую точность и скорость работы. Функция уже доступна через API для моделей серии Flash.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖