Разработчица (по данным одного из источников — Эми) создала приложение LipFlowi, которое позволяет диктовать текст без единого звука — используя только камеру, фиксирующую движения губ. Идея родилась из желания печатать текст голосом в коворкингах и библиотеках, не мешая окружающим; потенциально это может быть полезно и людям, потерявшим голос.
Приложение распознаёт беззвучную артикуляцию и переводит её в текст с помощью локальной нейросети, без отправки данных на сервер. Пока работает только на Apple Siliconi и с английской речью, доступно бесплатно на GitHub.
24 фразынужно произнести для обучения
8 минутвремя обучения модели на лице
50 на 50точность распознавания по губам
- При первом запуске нужно беззвучно произнести 24 фразы — так модель обучается под лицо и манеру артикуляции конкретного пользователя
- По данным одного из каналов, процесс первичного обучения занимает около 8 минут
- Активация происходит нажатием правого Option — включается захват лица через камеру, модель переводит движения губ в наиболее вероятные фразы
- Есть гибридный режим: мимика + тихий шёпот, плюс постобработка результата через Claude/Codex или локальный Qweni
- По словам автора одного из постов, точность распознавания — «50 на 50»
- Проект выложен в открытый доступ на GitHub, работает локально
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖