Автоматизация монтажа видео с помощью Gemini 3.8 Flash
К@kdoronin_blogAI-инженер
4 недРазбор пайплайна для автоматического поиска, нарезки и монтажа видеофрагментов с использованием Gemini 3.8 Flash, GPT-6 Sol и Whisper.
Автоматизация рутинного видеомонтажа позволяет значительно ускорить создание контента для соцсетей.
- Использование мультимодальных моделей упрощает поиск нужных фрагментов в длинных видео.
- Связка специализированных AI-инструментов позволяет автоматизировать нарезку и кадрирование под формат вертикальных видео.
- Локальные решения, такие как Whisper, эффективно дополняют облачные модели для финальной обработки контента.
"Отстойный промпт" ©
Нравится, как Gemini 3.8 Flash решает задачи в video-to-text.
Посмотрел на неделе фильм "Удачи, веселья, не сдохни". Отдыхаю от взаимодействия с AI за просмотром фильма про взаимодействие с AI.
Понравился эпизод, который, как мне кажется, наглядно показывает проблемы контекст-менеджмента.
Чтобы его вытащить отдельным видео, нужно найти несколько конкретных отрывков в 2-часовом материале, правильно обозначить таймкоды, вырезать отрывки и сделать кадрирование.
Как выглядит пайплайн, чтобы не делать это руками:
1. Ужать до 720p видеоряд и оставить только целевую аудиодорожку.
2. Через свой проект Video Analyzer с подключённым Gemini 3.8 Flash закинул промпт, прогнал через улучшайзер и проанализировал видеоряд.
3. Текст, который получил от Gemini, передал в Codex с GPT-6 Sol. Он вырезал конкретные куски, соединил их и сделал кадрирование под 9:16.
4. Потом загнал в свою AI-монтажку и через модуль генерации субтитров (работает на базе on-prem Whisper) добавил субтитры.
5. Короткое видео от человека, который не разбирается в формате reels/shorts, готово.
Для коротких исходных материалов, вместо Gemini, можно использовать Codex/Claude Code. Но в ситуации, когда у вас длинное видео или сложные связи между визуальным рядом и звуком, лучше использовать модель, нативно работающую с видео на вход.
Сейчас лучше всего с задачей справляется Gemini 3.8 Flash.
Кратко (AI)
Автор делится опытом автоматизации процесса монтажа видео с помощью нейросетей. Пайплайн включает использование Gemini 3.8 Flash для анализа видеоряда, GPT-6 Sol для нарезки и кадрирования, а также Whisper для генерации субтитров.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖