В новой работе предложен метод сжатия нейросетей, который обучает ортогональные проекции на важные для целевой задачи подпространства. В отличие от подходов, опирающихся на приближение весов или прокси-метрики, метод напрямую оптимизирует разложение и распределяет ранги между слоями по расхождению с исходной моделью.
Авторы сообщают о результатах на OPT, Llama-2, Qwen3 и ViT: при сжатии до 50–70% качество оказалось лучше, чем у рассмотренных бейзлайнов, а ускорение инференса достигало 1,5×. При этом источник отмечает, что заметное ускорение всё ещё может сопровождаться серьёзным снижением качества.
ВыводДля слоя обучают ортогональную матрицу U; проектор задаётся как I − U Uᵀ.
50–70%уровень сжатия моделей
1,5×максимальное ускорение инференса