Hugging Face выложили гайд по multi-harness RLi — обучению с подкреплением, при котором модель тренируется сразу внутри нескольких реальных coding-агентов (харнессов), а не одного. Проблема, которую решают: одна и та же модель может набирать 62% в одном агентном харнессе и всего 33% в другом — качество сильно зависит от обвязки, а не только от самой модели.
Чтобы это исправить, модель подключают к прокси, который понимает все основные API-форматы coding-агентов, и обучают сразу через несколько харнессов одновременно, без изменения самих харнессов. В результате модель LFM2.5-2.6B от Liquid AI выросла в точности и стала стабильно хороша во всех протестированных обвязках, а не только в той, где её тренировали.
ВыводПо данным источника 1, прокси понимает четыре API-формата coding-агентов: OpenAI Chat Completions, OpenAI Responses, Anthropic Messages и Gemini; он записывает точные token ids и logprobs, которые семплировал vLLM, и обучение идёт на этих данных



