← к умной ленте

LipFlow: приложение для диктовки текста по движению губ без звука

Разработчица (по данным одного из источников — Эми) создала приложение LipFlowi, которое позволяет диктовать текст без единого звука — используя только камеру, фиксирующую движения губ. Идея родилась из желания печатать текст голосом в коворкингах и библиотеках, не мешая окружающим; потенциально это может быть полезно и людям, потерявшим голос.

Приложение распознаёт беззвучную артикуляцию и переводит её в текст с помощью локальной нейросети, без отправки данных на сервер. Пока работает только на Apple Siliconi и с английской речью, доступно бесплатно на GitHub.

24 фразынужно произнести для обучения
8 минутвремя обучения модели на лице
50 на 50точность распознавания по губам
  • При первом запуске нужно беззвучно произнести 24 фразы — так модель обучается под лицо и манеру артикуляции конкретного пользователя
  • По данным одного из каналов, процесс первичного обучения занимает около 8 минут
  • Активация происходит нажатием правого Option — включается захват лица через камеру, модель переводит движения губ в наиболее вероятные фразы
  • Есть гибридный режим: мимика + тихий шёпот, плюс постобработка результата через Claude/Codex или локальный Qweni
  • По словам автора одного из постов, точность распознавания — «50 на 50»
  • Проект выложен в открытый доступ на GitHub, работает локально

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖