QUASAR: улучшение Quantization-Aware Training через учет кривизны

Обзор метода QUASAR, который повышает точность и стабильность обучения с учетом квантования (QAT) за счет учета кривизны функции потерь.

Метод позволяет эффективнее сжимать нейросети без существенной потери качества.

Повышает стабильность обучения моделей при низких битностях.
Решает проблему неточности градиентов в стандартном методе STE.
Позволяет лучше адаптировать модели при жестких требованиях к сжатию.

QUASAR: Lowering the Loss Floor of Quantization-Aware Training with Loss-Aware Reconstruction 📄 Статья 💻 Кода нет Когда PTQ (Post-Training Quantization) не выдает желаемого качества при целевой степени сжатия или модель нужно адаптировать по ходу дела, неизбежно приходится переходить к QAT (Quantization-Aware Training). Наивный STE (проброс градиента) может работать сносно, но расходится на низких битностях и вообще не очень стабилен. По факту градиент считается не из той точки, где в данный момент находится вес. Кроме того, существующие техники не учитывают кривизну при оптимизации в STE. И данная работа предлагает сравнительно недорогой способ сделать STE точнее и более адаптивным под геометрию.

QUASAR: улучшение Quantization-Aware Training через учет кривизны

Кратко (AI)

Авторы статьи представляют метод QUASAR, направленный на улучшение процесса Quantization-Aware Training (QAT). В отличие от стандартного метода STE, который часто нестабилен при низких битностях, QUASAR учитывает кривизну функции потерь, что позволяет сделать процесс оптимизации более точным и адаптивным.

QUASAR: улучшение Quantization-Aware Training через учет кривизны

Кратко (AI)

Обсуждение