← к умной ленте

YuE2: сообщество собрало полноценный пайплайн для генерации и ремикса музыки в ComfyUI

Разработчики выпустили серию нод для ComfyUIi, которые превращают модель YuE2 в инструмент полного цикла: от генерации музыки по тексту до редактирования готовых треков в виде нотной пианоллы и ремикса вокала/аранжировки в любом стиле.

За три дня (12–15 сентября) появились сразу четыре независимых репозитория, покрывающих разные этапы пайплайна — от базовых рабочих нод до конвертации MP3 в ноты и кодировщика для превращения любого трека в токены YuE2.

v4версия энкодера-токенизатора YuE2
RTX 5090видеокарта, на которой протестирован пайплайн
  • github.com/ScryptHunter/ComfyUI-YuE2 — первый набор рабочих нод для YuE2, выложен 12 сентября, автор поблагодарил пользователя @m_franz
  • github.com/o-l-l-i/ComfyUI-Olm-YuE2 — реализует полный пайплайн генерации по этапам Plan→Semantic→Synthesize→Decode, включает редактор ABC-нот в боковой панели и оффлоад для видеокарт с меньшей памятью; проверено на RTX 5090
  • github.com/filliptm/ComfyUI-FL-YuE2 — добавляет пианоллу для YuE2 с импортом и редактированием ABC-нот, а также ноды для обучения LoRAi
  • huggingface.co/m-a-p/SheetSage2 — конвертер MP3 в ABC-нотыi, необходим потому что обычная конвертация MIDI→ABC не работает; ставится через Hermes-Agent
  • Итоговый пайплайн: MP3 → AI-ноты → ABC → пианолла → ремикс вокала и аранжировки под любой стиль
  • huggingface.co/Mothersuperior/yue2-mothersuperior-realaudio-tokenizer-v4 — энкодер, превращающий любой трек в токены YuE2; обучен без разметки, модель научилась на собственных сгенерированных примерах

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖