Квантованные модели склонны к избыточным рассуждениям

Quantized Reasoning Models Think They Need to Think Longer, but They Do Not 📄 Статья 📝 Блогпост Известно, что квантизованные модели просаживаются в качестве несколько сильнее, чем модели на остальных классах задач. Но из-за чего именно это происходит? Команда из Meta обнаружила, что квантизованные модели подвержены overthinking: они начинают зацикливаться в рассуждениях и, даже получая в промежуточных рассуждениях верный ответ, не выдают его по итогу. Авторы исследуют данное явление и предлагают простую стратегию, позволяющую одновременно укоротить ответы и улучшить качество.