Hirify Feed — your shortcut to what’s next

AI-редакция

2 источника · показать все· свернуть

Нейронавт | Нейросети в творчествеDFlash 2: ускорение LLM через спекулятивное декодирование Derp LearningУскорение инференса Qwen3.8-27B с использованием DFlash2

собирается · 2обновлено 4 дн назад

Вышло второе поколение DFlash — техники спекулятивного декодирования для ускорения инференса больших языковых моделей. Первое поколение DFlash уже стало отраслевым стандартом, набрав 3,5 млн загрузок на Hugging Face. Суть подхода: маленькая модель быстро предсказывает кусок текста, а большая проверяет его одним проходом вместо того, чтобы генерировать по слову — итоговый текст полностью идентичен оригиналу, но выдаётся быстрее.

На практике это уже проверили с моделью Qwen3.8-27B: на ноутбуке она выдаёт 70 токенов/с вместо обычных ~15–20, а ускорение достигает 2.7–4.6 раз в зависимости от модели и настроек.

3.5 млнзагрузок DFlash 1 на Hugging Face

70 токенов/сскорость Qwen3.8-27B на ноутбуке с DFlash 2

2.7–4.6 разадиапазон ускорения инференса

Полный разбор →

ai llm оптимизация inference dflash llama.cpp

ИИ ai llm qwen llama.cpp квантование нейросети

Тестирование производительности моделей Qwen 3.8 на локальном железе

D@derplearningAI-инженер

6 дн

Наконец дошли руки поковырять Qwen 3.8-27b Как говорится, мое увожение. На мои 16гб комфортно влез Qwen3.8-27B-UD-Q3_K_XL от unsloth

--ctx-size 100535 -ngl 99 -fa on --cache-type-k q4_0 --cache-type-v q4_0 --jinja --reasoning-effort medium --no-context-shift --cache-reuse 256 --spec-type draft-mtp --spec-draft-n-max 1 -b 2048 -ub 512 --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 --tools all

выдает 36.77 t/s с контекстом 100535 Еще есть интересный дистилл Qwen3.8-2.4T-A95B -> Qwen 3.5 9b С Qwen3.8-9B-Q8_0 и конфигом

--ctx-size 262144 -ngl 99 -fa on --cache-type-k q8_0 --cache-type-v q8_0 --jinja --reasoning-effort low --no-context-shift --cache-reuse 256 --spec-type draft-mtp --spec-draft-n-max 3 -b 2048 -ub 512 --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 --tools all

выдает 85+ t/s с контекстом 262144 В llama.cpp ui / aider ваншотят игры вроде scorched earth, но 9b модель чаще спотыкается. Можно гонять и через claude code/codex, но codex использует новый более сырой апи и одним своим системным промтом сжирает 20к+ токенов :D llama.cpp тут

ai llm qwen llama.cpp квантование нейросети

релизИИ ai нейросети meta llm опенсорс открытый код

Meta выпустила открытую агентную модель Muse Glimmer 30B

AI-редакция

19 источников · показать все· свернуть

CodeCampMeta выпустила Muse Glimmer: 30B модель для локального запуска Kali NovskayaMeta Superintelligence Labs выпустила открытую LLM Muse Glimmer 30B Навука и моя жизнбMeta Superintelligence Labs выпустила открытую LLM Muse Glimmer 30B Навука и моя жизнбВыход модели Muse и сравнение с Llama Love. Death. Transformers.Meta Superintelligence Labs выпускает открытую LLM Muse Glimmer 30B БлоGнотMeta выпустила открытую модель Muse Glimmer на 30 млрд параметров эйай ньюзMeta выпустила мультимодальную модель Muse Glimmer 30B Mashkka про Data ScienceMeta Superintelligence Labs выпускает открытую LLM Muse Glimmer 30B Data, Stories and LanguagesMeta Superintelligence Labs выпускает открытую LLM Muse Glimmer 30B Kali NovskayaРелиз Muse Glimmer на Hugging Face vc.ruMeta представила открытую агентную модель Muse Glimmer Kali NovskayaРелиз квантованных версий модели Muse-Glimmer-30B GPT/ChatGPT/AI Central Александра ГорногоMeta выпустила локальную агентную модель Muse Glimmer Kali NovskayaРесурсы для запуска модели Muse Glimmer 30B техноданяMeta Superintelligence Lab выпустили открытую модель Muse Glimmer MachinelearningMeta представила Muse Glimmer — 30B модель для агентных систем Нейронавт | Нейросети в творчествеMuse Glimmer: 30B опенсорсная агентная модель от Meta Superintelligence Labs Хайтек+Meta выпустила открытую ИИ-модель Muse Glimmer техноданяОбзор локальной модели Muse Glimmer 30B и гайд по запуску LLM

хайп · 19обновлено 2 нед назад

Meta Superintelligence Labs представила Muse Glimmer — открытую dense-модель на 30 млрд параметров (точнее 29.6B), дистиллированную из более крупной закрытой Muse Spark. Модель заточена под локальных ИИ-агентов: работает с инструментами, пишет код, понимает изображения и видео, восстанавливается после ошибок инструментов, поддерживает более 100 языков и контекст 131К токенов. Веса выложены на Hugging Face под лицензией Apache 2.0, доступны официальные квантизации, GGUFi, MLX и ExecuTorch-версии.

Главная фишка — модель реально помещается на потребительское железо: при 4-битном квантовании она весит меньше 20 ГБ и работает на одной видеокарте (RTX 5090, Mac с M4/M5 Max) с 24–32 ГБ памяти. По заявленным бенчмаркам Glimmer обходит Qwen 3.6 27B и Gemma 4 31B в своём классе. Это первый заметный открытый релиз LLM от Meta с апреля 2025 года и первая модель такого размерного класса с Code Llama 34B (август 2023).

30 млрдпараметров модели

233 токена/секскорость на RTX 5090

меньше 20 ГБразмер весов при 4-бит квантовании

Полный разбор →

ai нейросети meta llm опенсорс открытый код

ИИ ai llm qwen local-llm development llamacpp

Эффективность локальных LLM для разработки: стоит ли игра свеч?

D@datastorieslanguagesAI-инженер

1 мес

Qwen 3.6 27B is the sweet spot for local development или нет? https://quesma.com/blog/qwen-36-is-awesome/ https://news.ycombinator.com/item?id=48721903 Увидел я тут очередной пост про то, как же хорошо гонять локальные модели. Автор запустил модель локально с помощью llama.cpp с квантизацией в 8-bit на Macbook Max M5 120 Gb. И вот я ну никак не могу с этим всем согласиться. Первое, и самое главное, это качество. Qwen неплох, но он намного хуже frontier-level моделей, особенно при квантизации. Я недавно рассказывал как пробовал minimax - ему было очень далеко до клода/кодекса. Кроме того, современная разработка с помощью AI - это про агентов, agentic workflows. Из условно-открытых моделей вроде такое только GLM может. И есть ещё вопрос стоимости. Macbook Max M5 120 Gb стоит несколько тысяч долларов. Это годы подписки на клод/кодекс. Да, можно сказать, что такую мощную машинку можно много для чего использовать. Но так ли это надо? Сомневаюсь. И даже при такой переплате качество будет заметно хуже топовых моделей #ai

ai llm qwen local-llm development llamacpp

Это всё на сейчас.

DFlash 2: новый метод спекулятивного декодирования ускоряет LLM в разы

Тестирование производительности моделей Qwen 3.8 на локальном железе

Meta выпустила открытую агентную модель Muse Glimmer 30B

Эффективность локальных LLM для разработки: стоит ли игра свеч?