FocusGUI адаптирует контекст для GUI-агентов
Н@GreenNeuralRobotsAI-инженер
6 днFocusGUI
Легкий адаптер для омнимодальных GUI-агентов. Держит внимание на том, что решает текущий шаг, и не дает траектории уехать в сторону.
• Семь каналов: текст с историей, экран, звук, видео, состояние взаимодействия, скрытые признаки, пространственные признаки экрана
• Вес каналов пересчитывается на каждом шаге под текущее решение
• Все нужное сжимается в латент на 64 числа и подмешивается в эмбеддинги декодера
• Базовая модель заморожена, обучается только адаптер
• Обучение по следующему действию, разметка релевантности не нужна
fyzhang1.github.io/FocusGUI
#computeruse #agent
MAX

