✔️ Alibaba представила генератор музыки HappyShrimp 1.0 Спустя 2 месяца после старта открытой беты состоялся релиз HappyShrimp 1.0 - генеративной модели, создающей законченные музыкальные композиции по тексту. HappyShrimp использует сквозную архитектуру, в которой трек создается как единое целое, позволяя избежать механического звучания голоса, рассинхронизацию текста с ритмом и нецелостную структуру трека. Модель умеет работать с абстрактными запросами, самостоятельно определяя жанр и инструменты под заданное настроение или контекст. Для управления предусмотрены расширенные параметры: указание темпа, тональности, состав инструментовки, пол и манера вокалиста, а также кривая эмоционального развития композиции. Вместе с моделью Alibaba объявила о партнерстве с лейблом Taihe Music Group, а в ближайшее время планирует выпустить отдельное мобильное приложение.

Все тексты, музыка, аранжировка и вокал для демо-ролика были созданы в HappyShrimp 1.0.

#news #ai #ml

🎼YuE2: открытая модель генерирует песни с редактируемой партитурой на уровне Suno v5 Команда китайских исследователей из HKUST, HKGAI и сообщества Multimodal Art Projection (M-A-P) представила YuE2-3B - открытую нейросеть для создания песен. Сначала она сочиняет композицию в виде читаемой партитуры, а потом исполняет её как готовый трек с вокалом. Партитуру можно поправить вручную или через LLM-агента и получить новую версию песни, а если снять ноты с чужой записи, модель без дообучения исполнит кавер в другом стиле. Примеры песен опубликованы на странице проекта. Партитуру YuE2 пишет в нотации ABC: темп, размер, тональность, такты, метки куплета и припева, аккорды и ноты. Генерация идёт в три шага: партитура, затем семантические токены, затем акустические латентные представления (латенты). Для них звук делится на фреймы по 40 мс, и каждый фрейм описывается 64 числами. Семантические токены добавляют то, что неудобно записать нотами, а из латентов отдельный вариационный автоэнкодер (VAE) собирает стерео 48 кГц. Все три шага выполняет один трансформер из 28 слоёв по схеме Mixture-of-Transformers (MoT): в каждом слое два эксперта со своими весами и общим механизмом внимания. В слепом прослушивании эксперты предпочли YuE2 песням Suno v4.5 в 57.3% сравнений против 30.5%. С Suno v5 вышла почти ничья: 40.4% против 39.9%. На бенчмарке WildSongBench у этой настройки 6.96 балла по SongBench с минимальным отрывом от ближайших конкурентов Mureka 9 (6.94) и Suno v5 (6.87). Тесты показали, что партитура делает песню лучше: с ней эксперты выбирали трек в 49.3% сравнений, без неё в 34.6%. Веса YuE2 открыты на Hugging Face под некоммерческой лицензией CC BY-NC 4.0. Код инференса и скилл yue2-music для LLM-агентов опубликованы на GitHub. Создать песню с помощью YuE2 без установки можно в бесплатном веб-демо. #Stateoftheart

#YuE2 Официальные обновки: Выпустили техрепорт #skill yue2-music agent skill превращает описание, ABC-ноты или референс в инструментальную музыку. YuE2 пишет партитуру по умолчанию, навык переносит вокальную мелодию в инструментальную партию перед рендером. Рекомендуемый агент — GPT-6 Astra Сегодня в официальном HF появился новый VAE. Прежний остался под именем m-a-p/YuE2-Vae-legacy Обновился пак нод YuE2-ComfyUI (v0.10.0), улучшилось распознавание мелодий Новые проекты вокруг YuE2: YuE2-Turbo — ускорение инференса и серверный слой для YuE2. Превращает один GPU в продакшен-сервис. Потребление — потребительские карты, ~10 секунд на песню github.com/himomohi/yue — форк YuE2 с поддержкой всех языков. Полная поддержка мультиязычности поверх той же архитектуры с символическим планированием #t2m #m2m MAX

Рубрика крутые подписчики. Забрал из коментов пост от Kenan HKS Ну чтож. Добрался я до ACE Studio. Поставил на свою 5080 RTX 16GB large модель 2 гига отлетает в рам но норм полет. В Пинокио ужасные результаты но вот с подключением Комфи картина радикально меняется. Первое что понял. Это конкурент Суно? Да. НО! если знаешь музыку. К счастье музыкальное образование и постоянная практика в написании нот помогает тут держаться на плаву. Главный плюс нет цензуры и модель не играется в коммерческое усреднение. Однако для почти каждого трека нужен свой подход. Но это именно и даст вам результат если вы действительно хотите получить кастомный трек. Однако тут надо по честному прямая генерация со слов как по мне дает хоть и при нормально настройке что то сносное но в основном это почти одинаковые квадраты зацикленные. Развитую тему вам придется писать самим. И тут уже я использую такой прием. Каждая дорожка должна быть сгенерированна отдельно и потом уже в любом удобном для вас DAW сводиться, редактироваться подчищаться и прочее. Фактически у вас на руках кастомный генератор VST на компе бесплатный. (Ну как бесплатный на видеокарту пришлось выложиться, но буду себя утешать что бесплатно теперь все 😁 ) По итогу решился вот сделать кавер на Diablo 2 - Rogue Encampment но в стиле Иранской фол психоделики. Для этого вам надо в начале сам трек переложить в такую стилистику тобиш найти оригинальные ноты, порепетировать, написать партии для разных инструментов, подготовить транспозиции, вынести исполнения в гармонии нужные и потом уже готовые миди сохранить в WAV формат и просить генерить каждую дорожку отдельно. Тут важно надо долго и муторно работать с промптами и пайплайнами чтобы получить одно "НУЖНО ИМЕННО НАЛОЖИТЬ ИНСТРУМЕНТ НА ДОРОЖКУ" не переделывать ее, не додумывать, не дорисовывать. Наверное одна из важных подсказок для промптов это "ЗАПИСЬ В ЛИНИЮ" так обычно на студиях будут говорить когда берут инструмент и записывают именно его через пульт на носитель как роу файл для дальнейшей обработки. А дальше уже как я и сказал дорога ваша в DAW я вот юзаю REASON studio. Небольшой фрагмент с результатом прилагаю. ———————————— https://acestudio.ai/ @cgevent

MuLaCover Контролируемый генератор каверов и ремиксов от HeartMuLa. Берет референс-музыку, трансформирует под новые слова и стиль - жанр, инструменты, настроение задаются текстовым промптом. Либо работает от MIDI с мелодией и аккордами • кавер по референсу, тексту и стилю • генерация с нуля из мелодии и аккордов MIDI • секции текста с маркерами - Verse, Chorus • стиль одной строкой: жанр, инструменты, настроение • 4B параметров • выход WAV huggingface.co/HeartMuLa/MuLaCover github.com/HeartMuLa/MuLaCover ——— DiffSynth-Music от DiffSynth-Studio Набор моделей контролируемой генерации музыки на базе #ACEStep Унаследовал #t2m из базы, плюс пять режимов управления через адаптеры Diffusion-Templates • биты - генерация строго под заданный темп и ритм • вокал - держит голос, добивает аккомпанемент • аккомпанемент - держит инструменты, пишет вокал • просодия - ритм и фразировка каждого слога по входной дорожке • референс - новый трек в стиле и тембре входного аудио • 48 кГц на выходе • длительность до 240 секунд • низкий VRAM - оффлоад на диск и CPU huggingface.co/DiffSynth-Studio/DiffSynth-Music github.com/modelscope/DiffSynth-Studio #text2music #musicediting #midi2audio MAX

Nova AI (SoundHear Inc.) Оболочка для генерации музыки — работает и как отдельное приложение, и как VST/AU/AAX-плагин внутри DAW. Тянутся и локальные модели, и облачные, всё в одном окне - Сэмплы по текстовому промпту — локально, без аккаунта - Извлечение стемов из готового аудио, drag & drop прямо в DAW - Облачные модели: Suno, ElevenLabs, Stable Audio, ACE-Step, MiniMax, Mureka, YuE2 - Локально: ACE-Step 1.5 Turbo, Stable Audio Small, YuE2 3B, плюс текстовая модель для лирики - Windows и macOS, VST/VST3/AU/AAX + standalone Бесплатно (модели оплачиваются отдельно или запускаются локально) Спасибо @krnk_music #vst #musicediting VK | MAX

#MiniMaxMusic MiniMax Music Prompt Studio Простое приложение: даешь аудиофайл, получаешь готовый промпт для MiniMax Music и текст песни в похожем вайбе ——— MiniMax Music Production Toolkit for ComfyUI Полный конвейер производства песни внутри #ComfyUI: идея → структурированный промпт → генерация в Music 3 → восстановление аудио (Declip, FlashSR, HF shimmer repair) → подготовка релиза (LUFS, true-peak) → обложка FLUX.2 → размеченный FLAC/MP3 + JSON с параметрами - 239 жанровых шаблонов промптов - Локальный #GGUF LLM для капшена, текста, названия и обложки — без облака - Custom Mode для своих промптов - 11 встроенных профилей системных промптов в v2.1 - Отдельная лаборатория улучшения аудио Галерея #comfyui #musicediting

Йакреведко от Алибаба После того как Ворнеры пожрали Udio и дожирают Suno, все бросились делать генераторы музла. Чуют, что свято место пусто не бывает. Minimax Music, Pika Music, Treblo (про всех писал), и вот теперь Алибабищенко. В зоопарке щасливых коней и устриц появилась Креведко: HappyShrimp 1.0 - модель генерации полноценных песен. И да, Креведко - это тот самый Lucky Dolphin, который до раскрытия Alibaba анонимно болтался на Artificial Analysis и забрался примерно на 2-3 место Music Arena. Кто ничего не понял про конец и устриц: HappyHorse - видео генерация: https://happy-horse.ai/ HappyOyster - модель мира https://happyoyster.cn/ HappyShrimp - новоиспечённая мужика: https://www.happyshrimp.ai/ Подход здесь отличается от Suno. Сначала большая ~8B модель планирует песню и ее длинную структуру, маленькая ~0.4B добивает музыкальные токены, а затем отдельный FullDiT на flow matching рендерит всё это в аудио, причем с контекстом всей песни, а не последовательно кусочками. Для гикоа есть технический отчет: https://arxiv.org/abs/2607.20253 На вход HappyShrimp принимает обычный текстовый промпт, lyrics и довольно подробные музыкальные инструкции: жанр, BPM, тональность, инструменты, тип вокала, структуру и настроение. Есть instrumental. Заявлены также reference audio, генерация по референсу и перенос музыкального стиля. Главная ставка - не просто сделать красивый 20-секундный кусок, а удерживать мелодию, аранжировку и развитие целой песни. В этом отличие от Суно. И это уже третий музыкальный проект от Alibaba. Рядом существует Qwen-Music с другим подходом - single-codebook tokenizer и Melody-CoT, обученный на заявленных 5+ млн часов музыки. А в Alibaba Cloud уже есть Fun-Music / fun-music-v1 с API для генерации песен и инструменталов. Еще одна интересная вещь: В день запуска Alibaba объявила стратегическое партнерство с Taihe Music Group, крупным китайским музыкальным холдингом. Они говорят о совместной AI-music платформе, работе с музыкантами и индустриальной экосистеме. Интересно, это справка-отмазка для Ворнеров? Пробовать: https://www.happyshrimp.ai/ Техотчет Lucky Dolphin: https://arxiv.org/abs/2607.20253 Qwen-Music: https://arxiv.org/abs/2607.11699 Fun-Music: https://help.aliyun.com/zh/model-studio/fun-music/ Август просто развесёлый получаеццца. Думал отдохну в отпуске, типа август у всех тихий будет, время отпусков. Но все обезумели вместо этого. @cgevent

Музыка MiniMax: открытые веса Music 3 Открытый генератор музыки длительностью до пяти минут. На выходе 32 кГц, 16-битное стерео. Модель принимает отдельно текст песни и подробное описание музыки, включая жанр, BPM, вокал, инструменты и развитие аранжировки. Полная версия помещается примерно в 24 ГБ VRAM, с выгрузкой слоев ее можно запустить даже на 8 ГБ. В общем, локальный Suno. Веса, Демо Suno: Studio 2.0 и монетизация кнопки Download Тем временем сам у самого Suno Suno Studio идет к тому чтобы стать AI First FL Studio. Появились импорт, запись и редактирование MIDI, встроенный wavetable-синтезатор, эффекты, автоматизация, улучшенное разделение на стемы и чат. Через чат можно генерировать инструменты, звуки и даже собственные плагины. Доступно только подписчикам Premier. Одновременно Suno объявила, что с 3 сентября вводит лимиты на скачивания: 7 файлов за все время на Free, 20 в месяц на Pro и 60 на Premier. Дополнительные скачивания будут продаваться отдельно. При этом экспорт из Studio для Premier остается безлимитным. Очевидно, массовый слоп вреден, пока не экспортируется через более дорогой интерфейс. Studio 2.0, Новые лимиты Pika: Pika Audio Pika внезапно стала еще и аудиокомпанией. Pika Music генерирует песни по описанию и тексту, умеет использовать референсный трек и образец голоса, а также делать cover исходного аудио. Длительность от 10 секунд до 6 минут, цена $0.015 за минуту. Вместе с ней выпустили Pika SFX для звуковых эффектов за $0.0002/сек, Pika Speech для TTS и клонирования голоса за $0.01/мин и Pika Soundtrack, который озвучивает готовое видео синхронно с происходящим за $0.005/сек. Все доступно через API. Видимо после видео Pika решила заодно стать Suno, ElevenLabs и саунд-дизайнером. Pika Audio, Pika Music Видео Sand AI: MAGI-2 Preview Новый видеогенератор! Большая MoE-модель для совместной генерации видео и звука: 114B параметров, из которых активируется 6B. Принимает текст или текст с первым кадром, генерирует десятисекундный ролик со звуком Дистиллированную версию с меньшим числом шагов обещают позже. GitHub, Веса Lightricks: LTX-2.5 LTX-2.5 заменил 2.3 в качестве рекомендуемой открытой аудиовидеомодели Lightricks. Это по-прежнему 22B, но теперь с дообученным Gemma 4 12B в роли текстового энкодера,и автоматическим выбором длительности ролика. Есть полная Dev-версия и дистиллированная, которая работает за 8 шагов на первом этапе и 4 на втором. Поддерживаются синхронная генерация видео и звука, keyframes, перегенерация отдельных фрагментов. Занимает 66 ГБ. GitHub, Веса