Как заменить персонажа в видео: рабочий процесс и впечатления от Ad Multiplier

👀 Меняем персонажа в видео. Пошагово. Решил попробовать инструмент Ad Multiplier в Higgsfield. С его помощью якобы можно в пару кликов менять в видео персонажей, хуки, сцены. Попробовал - разочаровался. Внутри инструмента своя видео-модель. Она рабочая, но фиговая. Лицо персонажа переносит плохо, с голосами тоже беда. Для рекламного продакшена я бы её не брал. Для прикольных видосов с вирусными персонажами - наверное норм. В комменты кину результат генерации, там прям плохо. Наверняка, и от неё можно добиться хорошего результата через разные промпты и генерации. Но генерации в ней стоят примерно как в Seedance 2.5, а результат хуже. Если брать Kling 4.0, который вышел буквально позавчера, то она ещё дешевле. Но во всех этих моделях подход «нажми на кнопку - получишь результат» - лукавство. С длинными видео всё несколько сложнее выходит. 1️⃣️️️️️️ Режем исходник Берём исходное видео и режем на сцены. Можно закинуть в Kling или Seedance весь ролик целиком. Но чем длиннее ролик, тем выше шанс получить косяки, которые захочется перегенерить. А перегенерация длинного ролика дороже. Варианта два: — режем на сцены и генерим каждую отдельно; — генерим целиком, косячный кусок вырезаем, подкладываем на его место ту же сцену из оригинала и перегенерируем. 2️⃣️️️️️️ Делаем персонажа Вот тут инструмент Higgsfield AI Influencer как раз норм. Но только если нужен необычный персонаж. Если нужен реалистичный человек, то скорее нет. Девушку из исходного ролика я делал в прошлой версии их инструмента. Работал он хорошо. Но после обновления он снёс всех моих персонажей и генерит каких-то нелепых. Видимо, ради той самой виральности. Мне не нравится, но потестить можно. Обычных людей генерю в GPT или Nano Banana. 3️⃣️️️️️️ Загружаем персонажа как элемент Делаем фото персонажа с двух сторон, чтобы модели было с чем работать. Загружаем в Higgsfield как элемент. На него умеют ссылаться некоторые модели, например Seedance и Kling 4.0. 4️⃣️️️️️️ Выбираем модель Я взял Kling, потому что он дешевле и хотелось новую модель посмотреть. Подойдут и Seedance, и модели Гугла. С заменой персонажей они справляются хорошо. Но у Гугла куча отказов по NSFW на ровном месте. Мой ролик он не сгенерировал ни разу, ни с одним моим промптом. С китайскими моделями такого нет. 5️⃣️️️️️️ Генерим Закидываем в Kling сцену, персонажа и простой промпт: возьми этого персонажа (через @ со ссылкой на элемент) и замени им человека в исходном видео. Жмём, ждём. Пара советов: — 1 сцена - 1 генерация — промпт оттачиваем на низком качестве или на моделях попроще. На дорогую генерацию идём уже с готовым. 6️⃣️️️️️️ Переделываем звук Со звуком, скорее всего, будет беда. Kling и Seedance делают его не всегда хорошо. Плюс голоса между фрагментами могут отличаться, и это сильно заметно. Поэтому звук я делаю отдельно. Достаю дорожку из оригинала и кидаю в ElevenLabs. Инструмент Voice Change: загрузил трек, выбрал голос, нажал Generate. Важно: это нормально работает, если в треке нет закадровых звуков и эффектов. Если есть, то сначала отделите голос и загружайте только его. 7️⃣️️️️️️ Собираем, делаем липсинк, если нужно Собираем в редакторе сгенерированные видео и трек из ElevenLabs. В каких-то сценах звук с картинкой у меня не совпал. Ничего страшного. Такую сцену вместе с нужным куском звука закидываем в Higgsfield в LipSync. Он тоже работает на Kling и стоит 2,5 токена. Видео загружайте без звука, иначе один трек наложится на другой. 8️⃣️️️️️️ Допиливаем руками Вероятно, мелкие косяки у вас всё равно будут. Модели не идеальные. Мелочи пусть правит монтажёр. Он же накладывает сверху эффекты, как в оригинале. • Я всё сделал на примере Higgsfield. Но все модели есть и отдельно от него. Он тут необязателен. • Наверняка, мой подход можно оптимизировать. Я не монтажёр, не спец по графике, я перфоманс-маркетолог. Буду рад советам профи. 👍️️️️️️ Если хотите видео-инструкцию - поставьте лайк. Наберём 10 - сделаю.