Вышла YuE2 — новая версия открытого генератора музыки, который сначала создаёт редактируемый музыкальный план (мелодию и аккорды), а затем превращает его в полноценную песню с вокалом и инструментами. Это позволяет вручную вмешиваться в процесс: сохранять мелодию, менять гармонию, стиль, добавлять соло или загружать собственную партитуру в формате ABC notationi.

По качеству модель приближается к Suno v5, при этом работает локально и быстро на потребительских GPU. Авторы утверждают, что YuE2 превосходит Mureka 9 и Minimax 3, целясь в уровень Suno 5. Главная оговорка — лицензия CC BY-NC 4.0i запрещает коммерческое использование.

• 3.6 минуты песни генерируются за 71 секунду на RTX 4090 с 24 ГБ VRAM
• Модель имеет 3B параметров, выход — 48 kHz stereo
• Zero-shot coversi: модель транскрибирует существующую композицию через SheetSage2 и собирает из неё новую аранжировку в другом стиле
• Agentic editing позволяет отдавать текстовые команды типа «оставь вокальную мелодию, сделай джазовую гармонию и добавь саксофон» — агент правит score, lyrics и prompt, после чего YuE2 рендерит новую версию
• Вместе с YuE2 выпущены открытые модели MERT2 (музыкальные эмбеддинги, SOTA в 14 из 15 метрик MARBLE) и SheetSage2 (транскрипция аудио в ноты, SOTA в 10 из 13 метрик), а также бенчмарк WildSongBench
• Код доступен на GitHub (multimodal-art-projection/YuE), веса — на HuggingFace (m-a-p/YuE2-3B), примеры — на map-yue2.github.io