Motion-Omni: генерация речи и движений в одной модели
Н@GreenNeuralRobotsAI-инженер
1 месПредставлена модель Motion-Omni, которая одновременно генерирует речь и движения тела из общих латентных состояний, обеспечивая высокую скорость и синхронизацию.
Технология позволяет создавать реалистичных виртуальных персонажей с идеальной синхронизацией речи и жестов.
- Ускоряет создание анимации в 5.4 раза по сравнению с традиционными методами.
- Исключает рассинхронизацию звука и движений за счет архитектурного решения.
- Упрощает разработку интерактивных аватаров и виртуальных помощников.
Motion-Omni
Одна модель генерирует и речь и движения тела по диалогу. Вместо того чтобы запускать TTS и анимацию по отдельности и потом синхронизировать все делается из одних и тех же латентных состояний
- 5.4x быстрее каскадных решений, не надо ждать пока каждый компонент отработает по очереди
- Синхронизация зашита в архитектуру, а не доклеивается постфактум
- Подходит для диалоговых аватаров, виртуальных персонажей, anything, где персонаж говорит и движется одновременно
На видео сравнение с MambaTalk
Гитхаб
#tts #animation
VK | MAX
Кратко (AI)
Модель Motion-Omni объединяет генерацию речи и анимации тела в единый процесс, используя общие латентные состояния. Это позволяет достичь высокой скорости работы и естественной синхронизации без необходимости раздельной обработки компонентов.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖