Qwen-Drive 1.0: Foundation Model для автономного вождения

​​Qwen-Drive 1.0: Turning a General VLM into a Driving Foundation Model Свежая работа от Qwen Team про автономное вождение. Обычно VLA-подходы берут предобученную VLM как источник семантики и рассуждений, дообучают её на driving-данных и прицепляют к ней предсказатель траектории. Проблема в том, что language supervision плохо ограничивает реальную 3D-геометрию (модель может убедительно описать сцену, имея при этом очень приблизительное представление о расстояниях и occupancy), а агрессивная доменная адаптация теряет часть общих знаний, которые как раз и нужны в редких и out-of-distribution ситуациях. Qwen-Drive-1.0 добавляет два внешних модуля к Qwen3.5-4B: BEV perception head для 3D-детекции, occupancy и сегментации карты, и Planning Expert на ~1.1B параметров, который генерирует пятисекундные траектории через flow matching. Planning Expert читает cached keys и values из восьми GQA-слоёв VLM, то есть VLM работает как read-only источник контекста и на обеих стадиях планирования остаётся полностью замороженной. RL-часть весьма интересна. Euler-сэмплирование во flow matching детерминированное, поэтому политики, по которой можно взять градиент, попросту нет. Авторы добавляют шум только на последних трёх шагах из десяти и только вдоль нескольких низкочастотных косинусных мод: получаются плавные сдвиги и изгибы всей траектории вместо джиттера по отдельным waypoints. Результаты: - Driving VQA: 63.52 → 69.43 относительно базовой Qwen3.5-4B - Общие VLM-бенчмарки: 66.41 против 67.40 у базовой модели, просадка меньше балла - Probe: обучение одной только головы на замороженных фичах отстаёт от BEVFormerV2 на 6.34 mAP, а разморозка энкодера и VLM добавляет 10.46 mAP - NAVSIM: 90.7 PDMS против 90.4 у ExploreVLA и EponaV2 Paper Code Project Мои обзоры: Блог Medium #paperreview