FocusGUI адаптирует контекст для GUI-агентов
Н@GreenNeuralRobotsAI-инженер
6 днFocusGUI — лёгкий адаптер для GUI-агентов, который динамически взвешивает семь каналов контекста и сжимает их в латент из 64 чисел.
FocusGUI
Легкий адаптер для омнимодальных GUI-агентов. Держит внимание на том, что решает текущий шаг, и не дает траектории уехать в сторону.
• Семь каналов: текст с историей, экран, звук, видео, состояние взаимодействия, скрытые признаки, пространственные признаки экрана
• Вес каналов пересчитывается на каждом шаге под текущее решение
• Все нужное сжимается в латент на 64 числа и подмешивается в эмбеддинги декодера
• Базовая модель заморожена, обучается только адаптер
• Обучение по следующему действию, разметка релевантности не нужна
fyzhang1.github.io/FocusGUI
#computeruse #agent
MAX
Кратко (AI)
FocusGUI — лёгкий адаптер для омнимодальных GUI-агентов, который на каждом шаге пересчитывает вес семи каналов контекста под текущее действие. Он сжимает нужную информацию в латент из 64 чисел и обучается предсказывать следующее действие, при этом базовая модель остаётся замороженной.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖