Google представила Harness² для улучшения конфигурации ИИ-агентов
M@ai_machinelearning_big_dataAI-инженер
1 недHarness² меняет конфигурацию ИИ-агента без переобучения модели и показала прирост результатов в тестах с Gemini 3.5 Flash и GLM-5.
Агенты могут улучшать набор инструментов и инструкций под задачу без переобучения самой модели.
- Harness² проверяет разные конфигурации агента на одной задаче и выбирает более результативную.
- Система сохраняет выводы, подтверждённые запусками, для следующих циклов улучшения.
- В описанных тестах прирост за один шаг достиг 11,5 балла на WorkBuddy-Bench.
🔧 Google открыла Harness²: ИИ-агент сам улучшает свою рабочую среду
Результат агента зависит не только от модели, но и от её окружения: системного промпта, инструментов, памяти, навыков и субагентов. Всё это называют harness.
Harness² позволяет менять эту конфигурацию под новую задачу без переобучения модели.
Агент предлагает правки, пробует несколько вариантов на одной задаче, сравнивает поведение запусков и собирает улучшенную конфигурацию. Для этого ему не нужен заранее известный правильный ответ или внешний проверяющий.
После задачи система сохраняет выбранную конфигурацию и выводы, подтверждённые запусками. Следующий цикл улучшений начинается уже с этим опытом.
В тестах с Gemini 3.5 Flash и GLM-5 один шаг улучшения дал прирост до 11,5 балла на WorkBuddy-Bench, 4,5 балла на JobBench и 11,8 процентного пункта по partial pass rate на LAB. Дополнительные итерации повышали результаты.
Конфигурации можно проверять параллельно или дорабатывать последовательно. Поддерживаются OpenCode и Codex.
https://github.com/google-research/harness2
Кратко (AI)
Google открыла Harness² — систему, которая позволяет ИИ-агенту подбирать и улучшать свою конфигурацию без переобучения модели. В тестах с Gemini 3.5 Flash и GLM-5 один цикл улучшения повысил результаты на нескольких бенчмарках, а дополнительные итерации давали дальнейший прирост.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖