Hugging Face исследовали multi-harness RL для обучения агентов
M@machinelearning_interviewAI-инженер
3 недHugging Face представили подход multi-harness RL, позволяющий обучать модели сразу через несколько агентских обвязок, повышая эффективность решения задач.
Новый метод обучения делает ИИ-агентов более универсальными и эффективными в работе с разными инструментами.
- Модели учатся адаптироваться к разным средам разработки одновременно, а не подстраиваться под одну конкретную.
- Повышается точность выполнения задач и снижается количество лишних действий (вызовов инструментов).
- Подход позволяет разработчикам агентов эффективнее использовать данные из разных источников для дообучения моделей.
Hugging Face исследовали multi-harness RL: обучение с подкреплением сразу через Claude Code, Codex, OpenCode и Mini-SWE-Agent.
Для этого объединили три проекта:
• OpenEnv записывает обращения к модели, токены и вероятности генерации.
• Harbor запускает одинаковые задачи в контейнерах через разные обвязки.
• TRL использует собранные данные для обучения.
Каждая обвязка сохраняет собственные инструменты, промпты и цикл работы. Модель учится внутри настоящих агентов.
По данным авторов, у LFM2.5-2.6B доля тестовых задач, решённых с первой попытки, выросла с 42,2% до 54,2%. Улучшения появились во всех четырёх обвязках. На задачах, которые решили обе версии модели, обученная использовала на 31% меньше вызовов инструментов.
Эксперимент ограничен одним семейством задач, но показывает перспективный подход: адаптацию к разным обвязкам можно закладывать прямо в обучение.
📖 Руководство: https://huggingface.co/spaces/FineEnvs/multi-harness-rl
Кратко (AI)
Hugging Face представили метод multi-harness RL, который позволяет обучать ИИ-агентов одновременно через несколько различных сред (Claude Code, Codex, OpenCode, Mini-SWE-Agent). Использование этого подхода на модели LFM2.5-2.6B позволило увеличить долю успешно решенных задач с 42,2% до 54,2% и сократить количество вызовов инструментов на 31%.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖