← к ленте

Alibaba представила HappyShrimp 1.0 для генерации песен

М@cgeventAI-инженер
1 нед

Alibaba выпустила модель HappyShrimp 1.0 для генерации полноценных песен, использующую архитектуру FullDiT и flow matching для удержания структуры трека.

Появление новых мощных инструментов для создания музыки меняет правила игры в индустрии развлечений.

  • Новая архитектура позволяет генерировать цельные песни с сохранением структуры, а не просто короткие фрагменты.
  • Alibaba активно легализует свои AI-инструменты через партнерства с крупными музыкальными холдингами.
  • Технологическая гонка в генеративном аудио усиливается на фоне юридического давления на текущих лидеров рынка.
Йакреведко от Алибаба После того как Ворнеры пожрали Udio и дожирают Suno, все бросились делать генераторы музла. Чуют, что свято место пусто не бывает. Minimax Music, Pika Music, Treblo (про всех писал), и вот теперь Алибабищенко. В зоопарке щасливых коней и устриц появилась Креведко: HappyShrimp 1.0 - модель генерации полноценных песен. И да, Креведко - это тот самый Lucky Dolphin, который до раскрытия Alibaba анонимно болтался на Artificial Analysis и забрался примерно на 2-3 место Music Arena. Кто ничего не понял про конец и устриц: HappyHorse - видео генерация: https://happy-horse.ai/ HappyOyster - модель мира https://happyoyster.cn/ HappyShrimp - новоиспечённая мужика: https://www.happyshrimp.ai/ Подход здесь отличается от Suno. Сначала большая ~8B модель планирует песню и ее длинную структуру, маленькая ~0.4B добивает музыкальные токены, а затем отдельный FullDiT на flow matching рендерит всё это в аудио, причем с контекстом всей песни, а не последовательно кусочками. Для гикоа есть технический отчет: https://arxiv.org/abs/2607.20253 На вход HappyShrimp принимает обычный текстовый промпт, lyrics и довольно подробные музыкальные инструкции: жанр, BPM, тональность, инструменты, тип вокала, структуру и настроение. Есть instrumental. Заявлены также reference audio, генерация по референсу и перенос музыкального стиля. Главная ставка - не просто сделать красивый 20-секундный кусок, а удерживать мелодию, аранжировку и развитие целой песни. В этом отличие от Суно. И это уже третий музыкальный проект от Alibaba. Рядом существует Qwen-Music с другим подходом - single-codebook tokenizer и Melody-CoT, обученный на заявленных 5+ млн часов музыки. А в Alibaba Cloud уже есть Fun-Music / fun-music-v1 с API для генерации песен и инструменталов. Еще одна интересная вещь: В день запуска Alibaba объявила стратегическое партнерство с Taihe Music Group, крупным китайским музыкальным холдингом. Они говорят о совместной AI-music платформе, работе с музыкантами и индустриальной экосистеме. Интересно, это справка-отмазка для Ворнеров? Пробовать: https://www.happyshrimp.ai/ Техотчет Lucky Dolphin: https://arxiv.org/abs/2607.20253 Qwen-Music: https://arxiv.org/abs/2607.11699 Fun-Music: https://help.aliyun.com/zh/model-studio/fun-music/ Август просто развесёлый получаеццца. Думал отдохну в отпуске, типа август у всех тихий будет, время отпусков. Но все обезумели вместо этого. @cgevent
КонтекстAI
Музыкальные нейросети Suno и Udio в последнее время столкнулись с серьезными юридическими претензиями со стороны крупных звукозаписывающих лейблов (включая Warner Music Group) из-за вопросов авторского права на обучающие данные. На этом фоне технологические гиганты, такие как Alibaba, активно развивают собственные решения, пытаясь легализовать процесс через партнерства с правообладателями.

Кратко (AI)

Компания Alibaba представила модель HappyShrimp 1.0, предназначенную для генерации полноценных музыкальных композиций. В отличие от конкурентов, модель использует двухэтапный подход с планированием структуры и рендерингом через FullDiT, что позволяет лучше удерживать целостность песни. Параллельно компания объявила о партнерстве с Taihe Music Group для развития музыкальной AI-экосистемы.

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖