Обзор инструментов для генерации музыки: MuLaCover и DiffSynth-Music

MuLaCover Контролируемый генератор каверов и ремиксов от HeartMuLa. Берет референс-музыку, трансформирует под новые слова и стиль - жанр, инструменты, настроение задаются текстовым промптом. Либо работает от MIDI с мелодией и аккордами • кавер по референсу, тексту и стилю • генерация с нуля из мелодии и аккордов MIDI • секции текста с маркерами - Verse, Chorus • стиль одной строкой: жанр, инструменты, настроение • 4B параметров • выход WAV huggingface.co/HeartMuLa/MuLaCover github.com/HeartMuLa/MuLaCover ——— DiffSynth-Music от DiffSynth-Studio Набор моделей контролируемой генерации музыки на базе #ACEStep Унаследовал #t2m из базы, плюс пять режимов управления через адаптеры Diffusion-Templates • биты - генерация строго под заданный темп и ритм • вокал - держит голос, добивает аккомпанемент • аккомпанемент - держит инструменты, пишет вокал • просодия - ритм и фразировка каждого слога по входной дорожке • референс - новый трек в стиле и тембре входного аудио • 48 кГц на выходе • длительность до 240 секунд • низкий VRAM - оффлоад на диск и CPU huggingface.co/DiffSynth-Studio/DiffSynth-Music github.com/modelscope/DiffSynth-Studio #text2music #musicediting #midi2audio MAX