Выпущен открытый генератор музыки YuE2
М@cgeventAI-инженер
1 месПредставлена модель YuE2 для генерации музыки с возможностью редактирования партитуры, локальным запуском и поддержкой agentic editing.
YuE2 делает генерацию музыки более управляемой и профессиональной.
- Позволяет пользователям редактировать структуру, гармонию и инструменты до финального рендеринга.
- Поддерживает локальный запуск, что важно для приватности и отсутствия цензуры.
- Функция agentic editing дает возможность менять стиль или инструменты через текстовые команды.
Держите YuE2 - новый открытый генератор музыки. Но лицензия отстой
Кратко: 4090 ок, побивает Муреку 9 и Минимакс 3. Авторы целятся в Suno 5 уровень.
YuE2 работает своеобычно: сначала строит редактируемый музыкальный план - мелодию и аккорды, а уже потом превращает его в полноценную песню с вокалом и инструментами.
То есть в процесс наконец можно нормально залезть руками. Сохранить мелодию, поменять гармонию, переделать стиль, добавить соло или вообще скормить собственную партитуру в ABC notation.
Есть zero-shot covers: модель транскрибирует существующую композицию и может собрать из неё новую аранжировку. А ещё есть agentic editing - можно буквально сказать: «оставь вокальную мелодию, сделай джазовую гармонию и добавь саксофон». Агент правит score, lyrics и prompt, YuE2 рендерит новую версию.
И всё это можно гонять локально. Авторы показывают очень быстрый инференс на современных NVIDIA GPU, выход - 48 kHz stereo.
https://github.com/multimodal-art-projection/YuE
https://huggingface.co/m-a-p/YuE2-3B
Примеры тут:
https://map-yue2.github.io/
@cgevent
Кратко (AI)
Представлена новая открытая модель YuE2 для генерации музыки, которая использует двухэтапный процесс: создание музыкального плана с аккордами и последующий рендеринг аудио. Модель поддерживает локальный запуск на GPU NVIDIA, редактирование через агентов и работу с партитурами в формате ABC notation.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖