Исследование точности вычислений в спекулятивном декодировании Orthrus
С@oulenspiegel_channelAI-инженер
1 месМы тут засабмитили препринт про спекулятивное декодирование и гибридную архитектуру:
How Lossless Is Lossless Speculative Decoding? The Role of Numerical Precision in Orthrus
https://huggingface.co/papers/2609.15504 (https://huggingface.co/papers/2609.15504)
В ходе экспериментов обнаружили интересный эффект: выбор floating precision на инференсе ломает lossless-декодирование, но не просто портит его, а иногда немного улучшает на downstream задачах 🧐
Статья сейчас в процессе ревью. Будем благодарны за upvote, он поможет нам продвигать наши исследования по теме текстовых диффузионок