📌
Как дотянуть компактную модель до уровня гигантов посттрейном
AI-подразделение китайского производителя электромобилей Lixiang
опубликовало интересную работу о том, как они оптимизацией насыщали компактную модель доменными знаниями.
Mach-Mind-4-Flash - итоговая MoE-модель на 35 млрд общих 3 млрд активных параметров на базе Qwen3.5-35B-A3B.
Проблема, от которой Li Auto отталкивались, состоит в том, что если учить одну модель с подкреплением сразу на смеси наград (математика, код, агентные задачи), то появляются качели - подтянули одно, просело другое.
Решение - разделить этапы и области знаний. Сначала независимо обучили более десятка RL-экспертов, каждого в своём домене: математика, код, текст, безопасность, поиск, работа с инструментами. Каждый эксперт получил свои данные, свои проверяемые награды и свою стратегию обучения.
Дальше самое интересное - как собрать экспертов обратно в одну модель. Для этого использовали методику
MOPD, которую взяли у Xiaomi.
Это мультиучительская дистилляция на собственных генерациях ученика, где каждый обучающий пример по ключу маршрутизации уходит к "своему" замороженному эксперту, и тот через reverse-KL на уровне токенов подтягивает распределение ученика к своему.
Агентные навыки эксперты осваивали в исполняемых песочницах - там модель читает файлы, правит код, запускает тесты, видит ошибки и продолжает с их учётом.
Масштаб сред - более 190 предметных областей с сохранением состояния, свыше 3,5 тыс. интерфейсов инструментов, траектории программных задач до 300 шагов при контексте 256 тыс. токенов.
🟡
Работает ли слияние? И да и нет.
Следование инструкциям сохранилось целиком, а на агентных бенчах ClawBench и ClawEval итоговая модель даже обошла отдельных экспертов.
Но на SWE-bench Verified результат просел с 73,80 у эксперта до 71,10 у модели.
Предполагают, что узкоспециализированное поведение в длинных задачах кодинга при дистилляции смазывается.
Финальный штрих -
HMPO, собственная механика Li Auto, которая следит, чтобы модель не увлекалась в цепочках рассуждений.
Бюджет длины CoT берётся из медианы правильных ответов в группе, награду получают только верные и при этом более короткие решения, а награда собирается умножением (короткий, но неверный ответ получает строгий 0, что закрывает лазейку для взлома награды).
На выходе HMPO получается сокращение длины генерации на 19–46% при потере точности не более 0,7%, причём обучение шло только на математике, а эффект перенёсся на код и другие задачи. Правда пока это работает только для одношаговых рассуждений, к многоходовым агентным траекториям его ещё предстоит адаптировать.
🟡
Итоги
92,7 на AIME'26 - тут отстает от триллионной Kimi-K2.5 меньше чем на пункт;
82,8 на IFBench - первое место с большим отрывом, ближайший конкурент Qwen3.5-122B;
75,8 на BFCL-v4 - второе место после MiMo-V2-Flash, при этом лучше чем Qwen3.5-122B и Kimi-K2.5.
Можно сказать, что результаты на уровне куда более крупных моделей. К сожалению, планы по публикации модели неизвестны, но возможно мы просто почувствуем её в следующих поколениях электромобилей Lixiang.
🟡
Arxiv
@ai_machinelearning_big_data
#AI #ML #LLM #Optimisation #RL #LiAuto