Создание музыкального клипа с помощью нейросетей: опыт Voidborne

#Нейропрожарка Музыкальный клип Voidborne - The Greatest Stories Ever Told! Автор: Владимир Григорьев @RedArmadillo У меня есть музыкальный проект Voidborne - инструментальная музыка на стыке электронной, рок и оркестровой музыки. Саундтреки к неснятым фильмам, которые звучат у меня в голове. И спустя год после запуска проекта я решил снять первый клип.

Концепция нового альбома посвящена супергероической тематике, шпионским боевикам, но, несмотря на современное звучание, вдохновлена была комиксами и фильмами Золотого века комиксов. Поэтому родилась идея снять забавный клип, по-доброму иронизиурющий над пафосом и наивными спецэффектами тех лет. Работа над сценарием прошла легко. Родилась идея рамочной истории вокруг основного сюжета, в течении двух вечеров я сочинял различные сцены из фильмов, стараясь охватить максимально жанровых тропов (отошел от чистой супергероики в сторону B-movie в целом). На этом этапе нейросеть применялась ровно один раз: закинул в Google Gemini подробно описанные сцены и попросил структурировать их для промпта генерации - переписать в одном формате из разрозненных заметок и добавить технических деталей по визуализации, цвету и камере, там, где их не хватало. Потом еще пару дней генерировал в Seedance 2.0 рабочие материалы через Syntx. Выбор агрегатора только за счет удобства работы с мобильного телефона - в свободное от прочих дел время закидывал подготовленные промпты по очереди и генерил сырые рабочие материалы. По деньгам вышло наверное в районе 3-5 тысяч рублей, точно не считал. У меня этот сервис используется в основном для генерации веселых картинок и мемов по ситуации, поэтому по подписке накопилось какое-то количество внутренних кредитов. Израсходовал их порядка 2-3 тысяч. В данном случае задумка клипа очень сыграла на экономии, так как качество изначально планировалось "испорченное" древним ТВ, поэтому мог спокойно генерировать в 480p. Но пришлось нагенерировать примерно плюс 40% брака, так как не всегда модель понимала меня.

Музыку я пишу сам, и потом в Suno довожу ее до качественного, устраивающего меня звучания (специально не использую слова студийного). Если не вдаваться в подробности, сначала пишу в обычной DAW достаточно подробный черновик, а потом легким ремиксом через Суно полирую аранжировку и общий саунд. Хотя иногда приходится повозиться с постобработкой. Музыка у меня уже была, сколько писал именно этот трек не помню точно. Ориентировочно около недели. Дальше черновой монтаж в DaVinchi Reslove, перегенерация отдельных фрагментов, стилизация кадров под старое ТВ и легкая цветокоррекция. Тут у меня совсем мало опыта поэтому получилось как получилось. В целом работа над клипом заняла порядка недели времени. Работать было очень весело, собралась куча невошедших но смешных в своей всратости видео. Вижу несколько явных косяков, часть из них решил оставить за неимением лучшей альтернативы и недостатком опыта.

Что вынес из работы - некоторые сцены упорно не даются сходу, нужен более серьезный пайплайн, нежели сочетание текстового промпта и картинки-референса. Для обрамляющей истории несколько референсов генерировал Нанобананой. Пытался ей сменить ракурс камеры, но в итоге проще было это сделать через Сидэнс. Еще Сидэнс очень часто любил вставлять исковерканные русские надписи (которые сам вычленял из промптов) - за этим надо следить отдельно. Также мне не удалось нормально продлить видео с котом в самом конце, поэтому оно на пару секунд короче, чем хотелось бы. И в целом тут идея клипа позволила много где срезать углы. Но развлекаться так понравилось, надеюсь это будет не последний клип.

Всем спасибо за внимание и конструктивную критику! @cgevent