Влияние квантования на логические способности моделей
К@quant_prune_distillAI-инженер
1 месExtreme Low-Bit Inference in Reasoning Models: Failure Modes and Targeted Recovery
📄 Статья
💻 Код
Вдогонку про влияние квантизации на ризонинг.
Ребята из Brain Lab выпустили интересное исследование, показывающее, как ломается ризонинг у квантизованных моделей, а также пару стратегий, помогающих предотвратить зацикливание генерации.