Инструменты для работы с моделью генерации музыки YuE2 в ComfyUI
Н@GreenNeuralRobotsAI-инженер
1 месОбзор новых расширений для ComfyUI, позволяющих генерировать музыку через YuE2, включая работу с ABC-нотами, LoRA и конвертацию аудио.
Появление инструментов для YuE2 упрощает создание музыки с помощью нейросетей.
- Позволяет пользователям ComfyUI генерировать музыку с точным контролем через ABC-ноты.
- Упрощает процесс обучения модели на собственных данных с помощью LoRA.
- Дает возможность конвертировать существующие треки в формат, понятный нейросети, для создания ремиксов.
#Yue2
github.com/o-l-l-i/ComfyUI-Olm-YuE2 - #ComfyUI для YuE2: генерация музыки по этапам Plan→Semantic→Synthesize→Decode. Редактор нот ABC в боковой панели, оффлоад под меньшие карты. Проверено на 5090
github.com/filliptm/ComfyUI-FL-YuE2 - пианолла для YuE2 в ComfyUI: импорт ABC-нот, редактирование, генерация. Плюс ноды для обучения #LoRA
huggingface.co/m-a-p/SheetSage2 - конвертер MP3→ABC-ноты. Нужен для импорта треков в пианоллу. Обычные MIDI→ABC не работают. Ставится через Hermes-Agent
Можно выстроить такой пайплайн: MP3 → AI ноты → ABC → пианолла. Вокал и аранжировка ремиксятся под любой стиль
huggingface.co/Mothersuperior/yue2-mothersuperior-realaudio-tokenizer-v4 - энкодер для YuE2, которого не хватало: любой трек → токены YuE2. Обучен без разметки — модель сама научилась на своих сгенерированных примерах
#musicediting #music2midi #finetuning
VK | MAX
Кратко (AI)
Появились новые инструменты для интеграции модели генерации музыки YuE2 в ComfyUI. Они позволяют создавать полноценные пайплайны: от конвертации MP3 в ABC-ноты до обучения LoRA и использования специализированных токенизаторов для работы с аудио.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖