препринтСбросить фильтр ×

Исследование точности вычислений в спекулятивном декодировании Orthrus

С@oulenspiegel_channelAI-инженер
1 мес
Мы тут засабмитили препринт про спекулятивное декодирование и гибридную архитектуру: How Lossless Is Lossless Speculative Decoding? The Role of Numerical Precision in Orthrus https://huggingface.co/papers/2609.15504 (https://huggingface.co/papers/2609.15504) В ходе экспериментов обнаружили интересный эффект: выбор floating precision на инференсе ломает lossless-декодирование, но не просто портит его, а иногда немного улучшает на downstream задачах 🧐 Статья сейчас в процессе ревью. Будем благодарны за upvote, он поможет нам продвигать наши исследования по теме текстовых диффузионок

Это всё на сейчас.