Alibaba представила HappyShrimp 1.0 для генерации песен
М@cgeventAI-инженер
1 недAlibaba выпустила модель HappyShrimp 1.0 для генерации полноценных песен, использующую архитектуру FullDiT и flow matching для удержания структуры трека.
Появление новых мощных инструментов для создания музыки меняет правила игры в индустрии развлечений.
- Новая архитектура позволяет генерировать цельные песни с сохранением структуры, а не просто короткие фрагменты.
- Alibaba активно легализует свои AI-инструменты через партнерства с крупными музыкальными холдингами.
- Технологическая гонка в генеративном аудио усиливается на фоне юридического давления на текущих лидеров рынка.
Йакреведко от Алибаба
После того как Ворнеры пожрали Udio и дожирают Suno, все бросились делать генераторы музла. Чуют, что свято место пусто не бывает. Minimax Music, Pika Music, Treblo (про всех писал), и вот теперь Алибабищенко.
В зоопарке щасливых коней и устриц появилась Креведко:
HappyShrimp 1.0 - модель генерации полноценных песен. И да, Креведко - это тот самый Lucky Dolphin, который до раскрытия Alibaba анонимно болтался на Artificial Analysis и забрался примерно на 2-3 место Music Arena.
Кто ничего не понял про конец и устриц:
HappyHorse - видео генерация:
https://happy-horse.ai/
HappyOyster - модель мира
https://happyoyster.cn/
HappyShrimp - новоиспечённая мужика:
https://www.happyshrimp.ai/
Подход здесь отличается от Suno. Сначала большая ~8B модель планирует песню и ее длинную структуру, маленькая ~0.4B добивает музыкальные токены, а затем отдельный FullDiT на flow matching рендерит всё это в аудио, причем с контекстом всей песни, а не последовательно кусочками. Для гикоа есть технический отчет:
https://arxiv.org/abs/2607.20253
На вход HappyShrimp принимает обычный текстовый промпт, lyrics и довольно подробные музыкальные инструкции: жанр, BPM, тональность, инструменты, тип вокала, структуру и настроение. Есть instrumental. Заявлены также reference audio, генерация по референсу и перенос музыкального стиля.
Главная ставка - не просто сделать красивый 20-секундный кусок, а удерживать мелодию, аранжировку и развитие целой песни. В этом отличие от Суно.
И это уже третий музыкальный проект от Alibaba. Рядом существует Qwen-Music с другим подходом - single-codebook tokenizer и Melody-CoT, обученный на заявленных 5+ млн часов музыки. А в Alibaba Cloud уже есть Fun-Music / fun-music-v1 с API для генерации песен и инструменталов.
Еще одна интересная вещь:
В день запуска Alibaba объявила стратегическое партнерство с Taihe Music Group, крупным китайским музыкальным холдингом. Они говорят о совместной AI-music платформе, работе с музыкантами и индустриальной экосистеме. Интересно, это справка-отмазка для Ворнеров?
Пробовать:
https://www.happyshrimp.ai/
Техотчет Lucky Dolphin:
https://arxiv.org/abs/2607.20253
Qwen-Music:
https://arxiv.org/abs/2607.11699
Fun-Music:
https://help.aliyun.com/zh/model-studio/fun-music/
Август просто развесёлый получаеццца. Думал отдохну в отпуске, типа август у всех тихий будет, время отпусков. Но все обезумели вместо этого.
@cgevent
КонтекстAI
Музыкальные нейросети Suno и Udio в последнее время столкнулись с серьезными юридическими претензиями со стороны крупных звукозаписывающих лейблов (включая Warner Music Group) из-за вопросов авторского права на обучающие данные. На этом фоне технологические гиганты, такие как Alibaba, активно развивают собственные решения, пытаясь легализовать процесс через партнерства с правообладателями.
Кратко (AI)
Компания Alibaba представила модель HappyShrimp 1.0, предназначенную для генерации полноценных музыкальных композиций. В отличие от конкурентов, модель использует двухэтапный подход с планированием структуры и рендерингом через FullDiT, что позволяет лучше удерживать целостность песни. Параллельно компания объявила о партнерстве с Taihe Music Group для развития музыкальной AI-экосистемы.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖