← к ленте

Автоматизация монтажа видео с помощью Gemini 3.8 Flash

К@kdoronin_blogAI-инженер
4 нед

Разбор пайплайна для автоматического поиска, нарезки и монтажа видеофрагментов с использованием Gemini 3.8 Flash, GPT-6 Sol и Whisper.

Автоматизация рутинного видеомонтажа позволяет значительно ускорить создание контента для соцсетей.

  • Использование мультимодальных моделей упрощает поиск нужных фрагментов в длинных видео.
  • Связка специализированных AI-инструментов позволяет автоматизировать нарезку и кадрирование под формат вертикальных видео.
  • Локальные решения, такие как Whisper, эффективно дополняют облачные модели для финальной обработки контента.
"Отстойный промпт" © Нравится, как Gemini 3.8 Flash решает задачи в video-to-text. Посмотрел на неделе фильм "Удачи, веселья, не сдохни". Отдыхаю от взаимодействия с AI за просмотром фильма про взаимодействие с AI. Понравился эпизод, который, как мне кажется, наглядно показывает проблемы контекст-менеджмента. Чтобы его вытащить отдельным видео, нужно найти несколько конкретных отрывков в 2-часовом материале, правильно обозначить таймкоды, вырезать отрывки и сделать кадрирование. Как выглядит пайплайн, чтобы не делать это руками: 1. Ужать до 720p видеоряд и оставить только целевую аудиодорожку. 2. Через свой проект Video Analyzer с подключённым Gemini 3.8 Flash закинул промпт, прогнал через улучшайзер и проанализировал видеоряд. 3. Текст, который получил от Gemini, передал в Codex с GPT-6 Sol. Он вырезал конкретные куски, соединил их и сделал кадрирование под 9:16. 4. Потом загнал в свою AI-монтажку и через модуль генерации субтитров (работает на базе on-prem Whisper) добавил субтитры. 5. Короткое видео от человека, который не разбирается в формате reels/shorts, готово. Для коротких исходных материалов, вместо Gemini, можно использовать Codex/Claude Code. Но в ситуации, когда у вас длинное видео или сложные связи между визуальным рядом и звуком, лучше использовать модель, нативно работающую с видео на вход. Сейчас лучше всего с задачей справляется Gemini 3.8 Flash.

Кратко (AI)

Автор делится опытом автоматизации процесса монтажа видео с помощью нейросетей. Пайплайн включает использование Gemini 3.8 Flash для анализа видеоряда, GPT-6 Sol для нарезки и кадрирования, а также Whisper для генерации субтитров.

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖