Hugging Face выложили гайд по multi-harness RLi — обучению с подкреплением, при котором модель тренируется сразу внутри нескольких реальных coding-агентов (харнессов), а не одного. Проблема, которую решают: одна и та же модель может набирать 62% в одном агентном харнессе и всего 33% в другом — качество сильно зависит от обвязки, а не только от самой модели.

Чтобы это исправить, модель подключают к прокси, который понимает все основные API-форматы coding-агентов, и обучают сразу через несколько харнессов одновременно, без изменения самих харнессов. В результате модель LFM2.5-2.6B от Liquid AI выросла в точности и стала стабильно хороша во всех протестированных обвязках, а не только в той, где её тренировали.

• По данным источника 1, прокси понимает четыре API-формата coding-агентов: OpenAI Chat Completions, OpenAI Responses, Anthropic Messages и Gemini; он записывает точные token ids и logprobs, которые семплировал vLLM, и обучение идёт на этих данных
• Harness'ы работают без единой правки: источник 1 называет Claude Code, Codex и OpenCode; источник 2 указывает четыре обвязки — Claude Code, Codex, OpenCode и Mini-SWE-Agent
• Точность LFM2.5-2.6B после мульти-харнесс обучения выросла с 42% до 54% (по данным источника 1) / с 42,2% до 54,2% (по данным источника 2), улучшения зафиксированы во всех обвязках
• Обучение только внутри OpenCode поднимало сам OpenCode с 34% до 58%, но итоговая мульти-харнесс модель оказалась лучше во всех обвязках сразу
• Бонус за решение задачи за меньшее число шагов сократил количество вызовов инструментов на 31% на задачах, которые решили обе версии модели
• SFTi на 3189 успешных траекториях модели Qwen3.8-27B дал точность лишь 47,5% — ниже обоих RL-прогонов, то есть имитация большой модели не заменяет практику в реальной среде
• Источник 2 указывает архитектуру из трёх компонентов: OpenEnv записывает обращения к модели, токены и вероятности; Harbor запускает одинаковые задачи в контейнерах через разные обвязки; TRL использует собранные данные для обучения (async GRPOi)