1/ Агент делает скриншот экрана 2/ С помощью встроенного в macOS распознавания текста получает дерево интерфейса 3/ Тапает в конкретную координату 4/ Смотрит на расхождение кадров чтобы понять сработало лиНу и фишка iPhone Mirroring что мне не нужно иметь телефон под рукой, подключать его через провод, разблокировать и тд. Сценариев использования куча: от тестирования приложений до сбора корзины в китайской доставке. Но так как это своего рода computer-use, на сложные задачи я бы не рассчитывал 😏 @tips_ai #tools
Управление iPhone через ИИ-агентов с помощью phone-harness
T@tips_aiAI-инженер
2 недОбзор инструмента phone-harness, позволяющего ИИ-агентам управлять iPhone через функцию iPhone Mirroring в macOS.
Это упрощает автоматизацию действий на мобильных устройствах без необходимости физического подключения.
- Позволяет ИИ-агентам управлять реальным iPhone через компьютер.
- Использует встроенную функцию iPhone Mirroring для удаленного доступа.
- Подходит для задач тестирования приложений и автоматизации рутинных действий.
Знаю что для разработки есть эмулятор Xcode которым уже неплохо управляют ии-агенты, но стало интересно есть ли что-то подобное для реальных устройств
Оказывается есть:
Скормите вашему агенту phone-harness, скилл который объясняет ему как использовать маковский iPhone Mirroring для управления айфоном
Я бы описал это как Computer Use, но для телефона:
Кратко (AI)
Автор рассказывает об инструменте phone-harness, который позволяет ИИ-агентам взаимодействовать с iPhone через функцию iPhone Mirroring в macOS. Система работает по принципу Computer Use: агент делает скриншоты, анализирует интерфейс и выполняет действия через клики по координатам.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖