Выход YuE2: опенсорсная модель для генерации и редактирования музыки
Н@GreenNeuralRobotsAI-инженер
1 месОбзор YuE2 — новой опенсорсной модели для генерации музыки с поддержкой редактирования партитур, транскрипции и высокой скоростью работы.
Это важный шаг к созданию качественной музыки с полным контролем над структурой композиции.
- Позволяет редактировать ноты и аккорды до генерации аудио, что дает больше контроля, чем в Suno.
- Высокая скорость генерации на домашнем оборудовании (RTX 4090).
- Возможность создания каверов через транскрипцию аудио в ноты.
YuE2
Опенсорная генерация музыки, обновка
по качеству догоняет Suno v5, но локально, редактируемо и с нотами
- Модель сначала пишет редактируемую партитуру (мелодия + аккорды), а потом по ней генерирует аудио. Партитуру можно править
- Есть редактирование через агента
- Cover: загрузил песню → транскрибировал в ноты с SheetSage2 → написал новый стиль → получил кавер
- 3.6 минуты песни за 71 секунду на RTX 4090, 24 ГБ VRAM
- 3B, лицензия CC BY-NC 4.0 (некоммерческая)
- Сопутствующие открытые модели: MERT2 (музыкальные эмбеддинги, SOTA в 14/15 метрик MARBLE), SheetSage2 (транскрипция аудио в ноты, SOTA в 10/13 метрик), WildSongBench (бенчмарк)
Гитхаб
HF
#musicediting #text2music #text2midi #midi2music
VK | MAX
Кратко (AI)
Представлена модель YuE2 для генерации музыки, которая позволяет редактировать партитуры и аккорды перед созданием аудио. Система включает инструменты для транскрипции аудио в ноты и демонстрирует высокую производительность на потребительском железе.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖