Релиз поддержки спекулятивного декодинга в инференс-движке для Apple Silicon
Б@boris_againAI-инженер
1 месРазработчики представили обновление инференс-движка с поддержкой спекулятивного декодинга для моделей Qwen3.6 27B и других, оптимизированное под Apple Silicon.
Это решение позволяет значительно ускорить работу нейросетей на компьютерах Mac.
- Спекулятивное декодинг ускоряет генерацию текста нейросетью.
- Собственная разработка кернелов и квантования дает преимущество в скорости на Apple Silicon.
- Разработчики предлагают готовые чекпоинты для тестирования производительности.
Major release от нашей небольшой лабы. Поддержка спекулятивного декодинга в нашем инференс движке.
Для начала Qwen3.6 27B, поддержка Qwen3.8 27B и Muse Glimmer в пути.
Мы сильно превосходим все возможные стеки для Apple Silicon по производительности. Потому что взяли и все сделали как ко-дизайн: кернелы, квантизация и спекуляция. Все с нуля, все свое.
Попробовать можно уже сегодня
M checkpoint - поменьше
L checkpoint (lossless)
Все модели которые мы поддерживаем лежат тут, будем рады если попробуете что-то еще.
Бенчи тут. Можно изучить как и что измерено и насколько лучше.
Подробнее про релиз блог пост
Кратко (AI)
Команда разработчиков выпустила обновление своего инференс-движка, добавив поддержку спекулятивного декодинга. Решение оптимизировано для работы на чипах Apple Silicon за счет собственной реализации кернелов и методов квантования. На данный момент поддерживается модель Qwen3.6 27B, в ближайшее время ожидается добавление Qwen3.8 27B и Muse Glimmer.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖