Разработчица (по данным одного из источников — Эми) создала приложение LipFlowi, которое позволяет диктовать текст без единого звука — используя только камеру, фиксирующую движения губ. Идея родилась из желания печатать текст голосом в коворкингах и библиотеках, не мешая окружающим; потенциально это может быть полезно и людям, потерявшим голос.
Приложение распознаёт беззвучную артикуляцию и переводит её в текст с помощью локальной нейросети, без отправки данных на сервер. Пока работает только на Apple Siliconi и с английской речью, доступно бесплатно на GitHub.
24 фразынужно произнести для обучения
8 минутвремя обучения модели на лице
50 на 50точность распознавания по губам