VocalRender: генератор вокала по тексту и MIDI

Обзор VocalRender — модели для генерации пения на базе VoxCPM2, поддерживающей MIDI-партии и клонирование тембра через аудио-промпты.

Технологии генерации реалистичного пения становятся доступнее для работы с MIDI-партитурами.

Позволяет создавать вокальные партии без ручной настройки кривых высоты тона.
Поддерживает перенос тембра конкретного исполнителя через короткий аудио-пример.
Интеграция MIDI-ввода упрощает процесс создания музыки для композиторов.

VocalRender Генератор вокала по тексту и MIDI-партии Никаких явных длительностей фонем и F0-кривых: модель сама решает, когда и как петь. Построен на VoxCPM2. Заявлен только китайский язык, предположу что можно дообучить на другие. • Score-native ввод — ноты+слова+BPM, один токен на слог с поддержкой мелизмов (слог на несколько нот) • Контроль тембра через промпт-аудио — кидаешь 2–8 секунд чистого вокала, модель поет в этом голосе • Два чекпоинта: VocalRender и VocalRender-Pro (дольше тренирован на бОльшем корпусе реального пения) • 48 kHz WAV Гитхаб HF Демо - принимает только китайский текст #vocal #midi2vocal #text2vocal #music

Кратко (AI)

Представлена модель VocalRender для генерации вокала на основе текста и MIDI-партии, построенная на архитектуре VoxCPM2. Система поддерживает клонирование тембра через короткие аудио-промпты и доступна в двух версиях: базовой и Pro.

VocalRender: генератор вокала по тексту и MIDI

Кратко (AI)

Обсуждение