Разбор процесса создания музыкального клипа с использованием Unreal Engine 5, ComfyUI, SyntX.AI и актуальных нейросетей для генерации видео и 3D.
#Нейропрожарка
Creature in the ice
🎬 Автор, режиссёр и «нейрослопер» @Kalkom
⏱️ Сроки: 1,5 месяца с перерывами
Зачем: хотел самостоятельно сделать клип и закрепить знания после курсов по нейропайплайнам.
🎧 Вдохновение:
Идеи приходят во время прогулок в хорошую погоду под любимую музыку.
Так было и здесь, за час собрал по кусочкам сцену в голове.
🧠❄️ История и концепция:
Сначала задумывал сюжет про девушку, которая пытается предотвратить освобождение монстра из ледяной ловушки — с экшеном и эмоциональным нагнетанием.
Трезво оценил ресурсы: реализация слишком сложная. (Пока что)
Итоговая концепция: клип о сотруднике подземной лаборатории, где изучают существо, замурованное в ледяную стену — с нотками депрессии и срывов. Хотел избежать «сырого нейрослопа» и сделать цельный ролик.
🖥 Железо и пайплайн :
Апгрейд ПК: поставил RTX 5070 Ti вместо RTX 3060 (успел до подорожания) 💸
Сцену собирал в Unreal Engine 5 через GS-сплаты (Gaussian Splatting).
Работал через отечественный
SyntX.AI и «неотечественный» ComfyUI.
Жёсткая экономия по токенам: в SyntX израсходовано ~800–900 токенов, остальное делал в ComfyUI.
⚒️ Движок и софт:
• Unreal Engine 5
• After Effects
• Photoshop
ComfyUI:
• LTX 2.3
• Flux_Klein
• TripoSplat
SyntX:
• Музыка — Suno
• Чаты — Claude 4.7
• Видео — Grok Imagine 2, Veo 3.1 Fast
• Картинки — Sora Image 2, Nano Banana 2
🎞 Распределение генерации видео:
Grok Imagine — 50%
Veo 3.1 Fast — 20%
LTX 2.3 — 30%
👩🔬Персонаж:
3D-модель девушки:
• Генерация — Hunyuan 3D
• Риггинг — AccuRIG
Анимация: закреплял знания в Unreal Engine 5, немного освоил Komodo NVIDIA. Основную анимацию делали нейросети, но опыт полезен — как превиз в Blender/UE и референс для Seedance 2 и др.
🖼Шоты и изображения:
Черновые шоты делал в UE, апскейп и улучшение — в Sora Image 2 и Flux_Klein.
Сначала пробовал Nano Banana, но для моих задач Sora Image 2 зашла лучше.
✂️Постпродакшн:
After Effects:
• Ротоскопинг и маски — чтобы существо в ледяной стене не моргало и не шевелилось.
• Борьба с «жёстким слопом» персонажа на дальних планах.
• Небольшая цветокоррекция.
Photoshop:
• Много работы по цветокоррекции и доводке кадров.
Локация и рефы:
https://www.artstation.com/artwork/1LnJXG
@cgevent
Кратко (AI)
Автор делится опытом создания музыкального клипа с использованием нейросетевого пайплайна. В работе были задействованы Unreal Engine 5 для сборки сцены, ComfyUI и SyntX.AI для генерации контента, а также ряд специализированных моделей для видео и 3D-анимации.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖