🛠️ Метод Сначала определяют, какие слои лучше всего отображаются из одной модели в другую. Для этого обучают гребневую регрессию (Ridge Regression) между всеми парами слоёв source- и target-модели и находят те, где R² самый большой. При этом важно фитировать pre-RoPE-ключи. Так и ошибка выходит меньше, и на другие контексты экстраполируется лучше. Замечают, что ключи предсказываются лучше, чем значения. Впрочем, это было известно и из прошлой литературы. После определения самых важных source-слоёв для данного target-слоя признаки из них конкатенируют в один тензор и снова обучают на этом гребневую регрессию. Показывают, что важно брать не один, а несколько — 4–8 — слоёв из source-модели для приемлемого R². ⏱️ Занимает это час-полтора на ноде из 8×H100. 🧪 Эксперименты Валидируют подход на моделях семейств Qwen3, Llama-3.1, Ministral и на задачах с коротким ответом: ARC-C, HellaSwag, Winogrande, MMLU. На паре Qwen3 14B → 32B работает неплохо, на Qwen3 8B → 32B — уже хуже, а на Llama 3.1 и Ministral 3. В ablation показывают для Qwen, что pre-RoPE важен и что k = 1 — брать один самый важный слой — недостаточно. Для Ministral 3 можно вытянуть качество, если заменить линейную модель на MLP. Для Qwen3 это не помогает. Утверждается, что оверхед от маппера из source в target небольшой — в 3–25 раз меньше, чем prefill. 💡 Выводы Интересное исследование и идея, но будто бы до практического использования ещё далеко. Тесты — на простых бенчах, и будто бы подход не универсален. Для качественного отображения между разными моделями, скорее всего, потребуется более выразительная модель, и здесь возникает сложный trade-off между потенциальным выигрышем, стоимостью работы и обучения этой прокладки.

🧪 Метод и эксперименты В данной работе фокусируются на 2-битном weight-only-сжатии ризонящих моделей. В аппендиксе есть эксперименты с FP4, со сжатием активаций и KV-кэшей. Квантизуют модели Qwen3-8B / Qwen3-32B через GPTQ. Оказывается, что квантизация сильно меняет поведение трейсов ризонинга: 🔄 Число циклов резко возрастает, особенно для меньшей модели. 📏 Многие трейсы не вписываются в заданный лимит токенов. ⚠️ Блок <think> часто оказывается незакрытым. 💡 При этом сам ответ появляется в среднем чуть ли не раньше в трейсе, но модель его не выводит. 📈 Длина ризонинга сильно увеличивается. Из этого следует, что, кроме просадки качества, мы ещё теряем в эффективности из-за того, что генерируем больше токенов. Как и в прошлой статье, замечают, что длина ризонинга у квантизованных моделей обратно коррелирует с качеством. Причина как раз в этих зацикливаниях. При этом результат сильно зависит от выбора задачи: на ризонинг-бенчмарках типа AIME / GPQA-Diamond эффект сильно заметен. На простых задачах — ARC-C, ARC-E, PIQA, WinoGrande — просадка и в 2 битах очень умеренная. Вообще, я думал, что эти бенчмарки likelihood-based и гоняются с выключенным <think>. Вводят четыре режима деградации качества: 🟢 Стабильный. Без заметной просадки. 🟡 Заметная, но умеренная просадка. Трейсы ещё не ломаются, но есть нарушения в плане фактологии и commonsense. 🟠 Значительная деградация. Генерация часто не завершается. 🔴 Полный коллапс. В первую категорию попадает Qwen3-32B на простых задачах. По мере усложнения задач и уменьшения размера модели растёт степень деградации. Дабы как-то подлечить просадку, предлагают два решения: 📝 (+P) FP16-модель пишет план, а квантизованная исполняет. Это заметно поднимает качество и правит многие ошибки ризонинга, но точность всё ещё ощутимо ниже базовой модели. 🔁 (+L) Loop Rescue. Если модель зацикливается, но выдаёт ответ, выписываем промежуточный ответ. Если ответа нет, просим FP16-модель сгенерировать его с нуля. На простых задачах смысла в этом не так много, так как и просадки, и зацикливания нет. Но на сложных задачах и ризонинг укорачивается, и качество заметно улучшается. На простых задачах end-to-end speedup с учётом длины генерации находится в районе 2×, а на сложных — несколько процентов с просадкой порядка 20% в среднем. 📌 Выводы Занятная и интересная стратегия по выправлению ризонинга. Для production-grade-системы, понятное дело, просадки качества слишком велики, но и 2-битная квантизация без свистоплясок — это действительно тяжёлый случай. Интересно было бы дообучить квантизованную модель через какой-нибудь RL с penalty на циклы.

Qwen3-ASR Ах да, сама распознавалка речи у них тоже обновилась Компактная, высокая пропускная способность, мультиязычность Распознавание речи и выравнивание по таймстампам. Покрывают 30 языков, 22 диалекта китайского, разные акценты. • SOTA среди открытых ASR-моделей • сопоставима с проприетарными API • 1.7B параметров • нативная поддержка в Transformers • стриминг • 2000× throughput при 0.6B параметров • идентификация языка + STT в сложных акустических условиях • Qwen3-ASR-0.6B - 2000x пропускная способность при 128 одновременных запросов • единый режим стриминга и офлайн, работа с длинными аудио • Forced Alignment через Qwen3-ForcedAligner-0.6B: таймстампы до 5 минут, 11 языков, точность выше E2E-аналогов #asr #stt