OpenVLHarness добавляет мультимодальным моделям инструменты и память без дообучения
Н@GreenNeuralRobotsAI-инженер
2 днИсследователи UCLA и Apple представили OpenVLHarness: обвязку с инструментами восприятия, поиска, кодинга и мультимодальной памятью.
Обвязка позволяет расширять возможности мультимодальной модели, не меняя её веса.
- Модель может использовать инструменты восприятия, поиска и кодинга.
- Мультимодальная память сохраняет информацию между шагами задачи.
- Код и данные проекта открыты, а демо работает с OpenAI-совместимым эндпоинтом.
OpenVLHarness
Обвязка для мультимодальных моделей от UCLA и Apple, без обучения. Дает модели набор инструментов и память по ходу задачи
• Инструменты восприятия: зум, привязка к объекту, OCR, глубина, поза камеры
• Поиск: текстовый, по картинкам, обход страниц
• Кодинг-агент для подсчетов и скриптов
• Мультимодальная память между шагами
• Сама модель не дообучается, веса остаются прежними
Обвязку еще и оптимизировали: Kimi K3 разобрала почти 10 тысяч провальных траекторий и решила, где нужен новый инструмент, а где хватит правки промпта. Есть демо с любым OpenAI-совместимым эндпоинтом, код и данные открыты.
github.com/uclanlp/OpenVLHarness
#harness
MAX
Кратко (AI)
OpenVLHarness — обвязка для мультимодальных моделей, которая добавляет инструменты восприятия, поиска и кодинга, а также память между шагами задачи. По описанию, веса модели не меняются: Kimi K3 использовали для анализа почти 10 тысяч провальных траекторий и выбора между добавлением инструмента и правкой промпта; код и данные открыты.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖