В новой работе предложен метод сжатия нейросетей, который обучает ортогональные проекции на важные для целевой задачи подпространства. В отличие от подходов, опирающихся на приближение весов или прокси-метрики, метод напрямую оптимизирует разложение и распределяет ранги между слоями по расхождению с исходной моделью.

Авторы сообщают о результатах на OPT, Llama-2, Qwen3 и ViT: при сжатии до 50–70% качество оказалось лучше, чем у рассмотренных бейзлайнов, а ускорение инференса достигало 1,5×. При этом источник отмечает, что заметное ускорение всё ещё может сопровождаться серьёзным снижением качества.

• Для слоя обучают ортогональную матрицуi U; проектор задаётся как I − U Uᵀ.
• Ранги распределяют по KL-расхождениюi с исходной моделью: слоям с большим KL выделяют больший ранг. После распределения ранги фиксируются и в ходе обучения не меняются.
• Для улучшения сходимости матрицы инициализируют с учётом послойной ошибки, а проектор вводят постепенно, чтобы избежать резкого ухудшения модели в начале обучения.
• Среди сравниваемых методов не хватало GFW-SWD и Basis Sharing; авторы также проверили сжатие ViT.
• Q, K и V-проекции сжимаются заметно лучше, чем MLP-слоиi.