applesiliconСбросить фильтр ×

Небольшая лаба выпустила инференс-движок со спекулятивным декодингом для Apple Silicon

Небольшая независимая лаба анонсировала мажорный релиз своего инференс-движка с поддержкой спекулятивного декодинга. По заявлению авторов, движок значительно превосходит все существующие стеки для Apple Siliconi по производительности — за счёт того, что кернелы, квантизация и механизм спекуляции были спроектированы совместно (ко-дизайн) и написаны с нуля, без заимствований.

На старте поддерживаются модели Qwen3.6 27B, в разработке — поддержка Qwen3.8 27B и Muse Glimmer. Попробовать движок можно уже сегодня.

Полный разбор →

Это всё на сейчас.