TBDub синхронизирует губы с новой озвучкой локально на MacBook
В@vibe_coding_channelAI-инженер
1 недАвтор протестировал TBDub от Alibaba с Qwen3-TTS и RU-Stress-CF: модель синхронизирует артикуляцию с новой озвучкой на MacBook M5Pro.
Зацените липсинк от TBDub - модель от Alibaba, которая подгоняет артикуляцию в видео под новую озвучку.
Для голоса взял Qwen3-TTS с дообучением под русские ударения RU-Stress-CF.
То есть, я дал пример видео, дал пример моего голоса, дал текст, и модель озвучила ее и подогнала движение губ под новый текст.
И все это локально на Macbook M5Pro 48Gb. В пике потребляет 24Гб ОЗУ.
Сравнивал с MuseTalk, LatentSync, HighSync. TBDub всех уделал по точности и качеству.
Сейчас хочу еще протестировать новую модель клонирования голоса Drama 3 от FishAudio. Позже поделюсь результатами.
Кратко (AI)
Автор проверил TBDub от Alibaba для синхронизации движения губ с новой озвучкой, используя Qwen3-TTS с дообучением RU-Stress-CF. По его оценке, TBDub превзошла MuseTalk, LatentSync и HighSync по точности и качеству; запуск был локальным на MacBook M5Pro с пиковым потреблением 24Гб ОЗУ.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖