Приложение для диктовки текста по движению губ
T@tips_aiAI-инженер
3 недРазработчик представила приложение для диктовки текста без использования голоса, считывающее движения губ через камеру.
Технология позволяет вводить текст в полной тишине, что может быть полезно в публичных местах или для людей с нарушениями речи.
- Позволяет диктовать текст беззвучно, используя только артикуляцию.
- Требует калибровки под индивидуальные особенности лица пользователя.
- Поддерживает интеграцию с LLM для улучшения точности распознавания.
Обожаю такие проекты: девушка сделала приложение для диктовки текста без голоса, просто по движению губ 😳
При первом запуске надо беззвучно сказать 24 фразы, чтобы приложение дообучилось под ваше лицо и манеру артикуляции
Жмешь правый option, включается захват лица через камеру, и моделька переводит движения губ в наиболее вероятные фразы
Работает 50 на 50, но зато эффектно
На всякий случай предусмотрен гибридный режим мимика + тихий шепот, и постобработка с помощью Claude/Codex или локального Qwen
GitHub (В текущем виде только под Apple Silicon и английскую речь, но если что опус в помощь 😁)
@tips_ai
Кратко (AI)
Разработчик создала приложение, которое позволяет диктовать текст беззвучно, считывая движения губ пользователя через камеру. Для работы требуется предварительная калибровка по 24 фразам, а для постобработки текста используются модели Claude, Codex или Qwen.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖