Прилетел на ECCV 2026 в Malmo. Если кто-то ещё тут: заглядывайте 8 сентября на воркшоп по мультимодальным агентам, около 14:30 буду рассказывать как делаем VLA для GUI
KnowAct-GUIClaw
Инструмент для GUI-автоматизации с глубоким пониманием интерфейса. Решает проблему неточного клика и путаницы в динамичных UI
• точная локализация элементов даже при сдвигах
• действия по семантике, а не по координатам
• работа с вложенными и перекрывающимися виджетами
• адаптация к ресайзу и смене тем оформления
Использует мультимодальное понимание экрана плюс RL-политику для выбора действий. Акцент на устойчивость к изменениям верстки.
Гитхаб
#computeruse #agent