brain labСбросить фильтр ×

Влияние квантования на логические способности моделей

К@quant_prune_distillAI-инженер
1 мес
Extreme Low-Bit Inference in Reasoning Models: Failure Modes and Targeted Recovery 📄 Статья 💻 Код Вдогонку про влияние квантизации на ризонинг. Ребята из Brain Lab выпустили интересное исследование, показывающее, как ломается ризонинг у квантизованных моделей, а также пару стратегий, помогающих предотвратить зацикливание генерации.

Это всё на сейчас.