Создание музыкального клипа с использованием нейросетей: кейс «Дубравы-голограммы»

#Нейропрожарка "Дубравы-голограммы". Автор: Никола Дуплянский - музыкант, работающий на стыке брейкбита и sci-fi-скоморошин. Telegram: https://t.me/nikoladuplyansky VK: vk.com/nikoladuplyansky 🛠 "Дубравы-голограммы": живой исполнитель внутри хтонического киберпанка ⏱️ Срок создания: 35 часов 🎬 Хронометраж: 2:37 📐 Формат: 1080 × 1920, 9:16, 30 FPS 💡 Идея Музыкальный клип про фантастические дубравы, населенные хтоническими, неуловимыми существами. Производство состояло из четырех основных этапов. 🎙 1. Запись исполнителя на хромакее Исполнение записано на хромакее одним непрерывным фрагментом от начала до конца, без сборки из нескольких дублей. Этот цельный фрагмент и стал основой дальнейшего монтажа. Исполнитель настоящий, не нейросетевой персонаж. Звуковая программа у меня собственная, написанная на C++. Для генерации пресетов синтезатора использовал ChatGPT6-Pro. Здесь задача нейросети была достаточно конкретной - подготовка пресетов для моего инструмента. 🎚 2. Монтаж звука и мастеринг Монтаж и обработку звука делал в Reaper. Финальный мастеринг - в нейросетевом сервисе LANDR. Музыка и текст: Никола Дуплянский. 🕹 3. Игровое вступление Для начала клипа подготовил две отдельные сцены: • "загрузка игры" • "ввод имени персонажа" Исходные HUD-картинки сделал в ChatGPT6-Pro. Затем с помощью Codex Ultra написал программу на Python, которая анимировала прогресс-бар и последовательный набор букв. Готовые сцены экспортировались в MOV RLE+Alpha, то есть с прозрачным фоном для дальнейшего монтажа. Здесь нейросеть создавала исходную графику и помогала написать код, но само движение интерфейса рассчитывалось программно, а не видеогенератором. 🌲 4. Создание дубрав и сборка клипа Исходные изображения создавал в ChatGPT6-Pro, после чего анимировал их в Kling3. Полученные видеофрагменты собирал в CapCut. Удаление хромакея делал собственной программой, созданной с помощью ChatGPT6-Pro. Цвет исполнителя подгонял под окружающий нейросетевой мир функцией CapCut "Совмещение цветов". 🚧 Самая большая переделка: Kling превратил цветы в кладбище Весь эпизод в подземном тоннеле пришлось фактически сделать заново. Чтобы исправить сцену, я взял удачные кадры из уже сгенерированных видео и с помощью ChatGPT6-Pro изменил форму "цветов" обратно на нужную. После этого исправленные изображения снова использовал как исходники для генерации видео. 💸 Расходы • ChatGPT6-Pro + Codex - 200 $ за месячную подписку • LANDR - 25 $ за месячную подписку • Kling3 через kie.ai - 5500 рублей на генерации видео Итого по использованным сервисам: 225 $ месячных подписок + 5500 рублей видеогенераций. Подписки указаны по полной месячной стоимости, без учета, какая их доля пришлась именно на этот клип. 📝 Финальная обработка • 1080 × 1920 • вертикальный формат 9:16 • 30 FPS • финальное автоулучшение цветов в CapCut 📌 Итог Получился гибрид живой съемки, собственной звуковой программы, программной анимации игрового интерфейса и нейросетевого фантастического леса. При этом одна из самых интересных особенностей Kling3 оказалась не в управляемости, а наоборот - в его непредсказуемости. Модель периодически придумывала совершенно неожиданных зверей и существ, которых не было в исходном замысле. И вот это как раз оказалось очень к месту: такие странные, плохо определимые создания идеально вписались в задумку клипа про хтоническую жизнь фантастических дубрав. @cgevent