Создание музыкального клипа с помощью нейросетей: опыт Алексея Дюгая

#Нейропрожарка Клип “Нет у бога на тебя особых планов”. Автор: Дюгай Алексей - @sontibul Идея возникла в процессе теста SUNO на предмет идентичности клона голоса. Когда я понял что мой голос удалось синтезировать. Теперь при загрузке аудио можно выбрать что мы грузим. В моём случае я выбрал голос. Предварительно просто поорал в телефон, зачитал что то из “Триагрутрики”. Слегка почистил голос в adobe podcast (бесплатно), залил в Suno, и дальше помогал Claude fable. Он потому что несмотря на дороговизну, это другой уровень текста и вообще всего. Было написано с десяток промптов для музыки, был зарифмован текст, я лишь подкидывал идеи. Особо меня порадовало как SUNO 5.5 делает акценты под голос, чувствует, ну и + разметка lyrics, в чём тоже Claude помог. Это не просто минус под который можно зачитать, это конкретно персонализированная музыка под конкретный ритм.

Прям в режиме оного чата Claude Fable под мой текст начал писать сцены для генерации, сразу с промптами, вот самый первый : @Image1 — the rapper, keep his exact appearance and the gritty courtyard setting from this frame. @Audio1 — the rap track he performs. CRITICAL STYLE: 100% photorealistic live-action cinematic documentary music video, shot on a high-end ARRI Alexa cinema camera with anamorphic lenses, real human skin with pores and texture, 35mm film grain, shallow depth of field — real filmed reality, NOT animation, NOT a render, NOT drawn. Gritty urban aesthetic, sharp chiaroscuro lighting with orange and cyan tones. High-energy rap music video with extreme dynamic camera work. The rapper from @Image1 performs with intense energy, his lips in tight natural lip-sync to @Audio1, spitting the bars with aggressive fast flow matching the rhythm and timing of the audio: "Город спит в долгах, как в одеялах, до обеда, Каждый третий тут — философ, каждый первый ждёт ответа. " The scene starts in the gritty courtyard from @Image1, then transitions through rapid-fire cuts: a dizzying 360-degree spin looking up through orange maple leaves, glitchy strobe-lit close-ups of his face, a fast whip-pan up to glowing neon skyscrapers, and a distorted fish-eye shot as he points at the camera. 100% visual consistency with the rapper from @Image1 across every shot. Fast-paced virtuoso cinematography. Keep his lips synced to @Audio1 in the close-up shots. Sound: the @Audio1 rap track, hard beat, aggressive vocals.

Дальше я вырезал кусочки аудио (БЕЗ МУЗЫКИ) обязательно отделяйте прямо в suno музыку от вокала - stems. Кусочки до 15 секунд, но лучше короче, я кидал референсом аудио в seedance 2, вместе со своим лицом. Кто ещё не знает, если лицо закинуть в chatgpt image 2 и сказать: “измени стиль изображения на высоко детализированный цветной рисунок”. То этот референс пройдёт в seedance 2. Я генерил в gendir.net, там эта функция встроена. Но важно что бы в промпте для генерации видео был указан стиль, типо “кинематографичная документальная съёмка снятая на камеру такую то такую”. Так же в промпте я ещё прописывал русскими буквами слова которые есть в аудио.

Таким образом из 3-4 попыток, на ломанном Русском, но что то выдавал. Большинство роликов в монтаже легли прекрасно. Дальше уже просто монтаж. По затратам не больше 7 000 рублей. Если видео плохо грузит, то https://youtu.be/p_NgrgmNweE?si=FFnEhAraf5H_FRUv @cgevent