OpenVLHarness
Обвязка для мультимодальных моделей от UCLA и Apple, без обучения. Дает модели набор инструментов и память по ходу задачи
• Инструменты восприятия: зум, привязка к объекту, OCR, глубина, поза камеры
• Поиск: текстовый, по картинкам, обход страниц
• Кодинг-агент для подсчетов и скриптов
• Мультимодальная память между шагами
• Сама модель не дообучается, веса остаются прежними
Обвязку еще и оптимизировали: Kimi K3 разобрала почти 10 тысяч провальных траекторий и решила, где нужен новый инструмент, а где хватит правки промпта. Есть демо с любым OpenAI-совместимым эндпоинтом, код и данные открыты.
github.com/uclanlp/OpenVLHarness
#harness
MAX