Адаптивное низкоранговое сжатие LLM с обучением проекций
К@quant_prune_distillAI-инженер
1 недВ статье предлагают обучать ортогональные проекции на важные для модели подпространства и адаптивно подбирать ранги для каждого слоя.
🧠 Learning Functional Subspaces for Neural Network Compression
📄 Статья
Вообще говоря, попытки сделать низкоранговое сжатие для LLM практическим — гиблое дело, но бывают более-менее интересные заходы.
Тут предложили очередной заход — учить ортогональные проекции на подпространство, важное для модели, в каждом слое end-to-end, подбирая адаптивно ранги. И среди авторов есть не абы кто, а сам месье Ян ЛеКун.
Кратко (AI)
В посте пересказывается статья о методе сжатия LLM через обучение ортогональных проекций на важные для модели подпространства. Проекции обучаются end-to-end для каждого слоя, а ранги подбираются адаптивно; среди авторов статьи указан Ян ЛеКун.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖