Hirify Feed — your shortcut to what’s next

2 нед

⚡ Для решения «куда отправить запрос» не всегда нужна модель, которая пишет целый ответ. Decision 3.0 от команды vLLM Semantic Router: семейство открытых моделей размером от 0,6B до 27B, работающих с текстом, изображениями и видео. На входе задаёте контекст и вопросы. На выходе получаете: • выбор из предложенных вариантов; • ответ «да / нет»; • оценку по заданной шкале; • вероятности вариантов. Без генерации текста. Например, можно определить отдел для обращения, проверить наличие товара на приложенном чеке и оценить срочность. По внутренней оценке команды, старшая d3 занимает первое место в их сравнении на текстовом и визуальном Jev Decision Index 0.3.1. Заявленная медианная задержка: 55 мс для текста и 273 мс с изображением на AMD MI325X. Лицензия Apache 2.0. Любопытный вариант для маршрутизации, классификации и узких решений внутри агентных систем. https://huggingface.co/vllm-sr/d3

ai vllm классификация маршрутизация open-source

ИИ IT ai decision-модели vllm semantic-router машинное обучение

Релиз семейства моделей Decision 2.0 от vLLM Semantic Router

Н@GreenNeuralRobotsAI-инженер

3 нед

Decision 2.0 Семейство открытых decision-моделей от vLLM Semantic Router. Не генерируют текст, а отвечают на вопросы с вариантами ответа, да/нет или по шкале — сразу вероятностью для каждого варианта, одним проходом. • Ответ на вопросы выбора, да/нет и по шкале за один проход • Вероятность для каждого варианта вместо генерации текста • Вход — текст или JSON • Режим роутинга запросов: какой команде отдать тикет, есть ли чек, насколько срочно • 6 размеров: от 0.6B до 27B (Vega-27B, Lux-9B, Nox-4B, Sol-2B, Eos-0.8B, Kai-0.6B) • Контекст 32,768 токенов • Медиана 71.4 мс на вопрос на одной GPU Vega-27B — лучший в семействе, топ-скоор JevArena для своего размера (74.0) github.com/vllm-project/semantic-router Спасибо @m_franz #decision #rlcd MAX

ai decision-модели vllm semantic-router машинное обучение

ИИ Технологии asr распознавание речи ai vllm стриминг

Audio8 ASR Infinite: нативная стриминговая модель распознавания речи

Н@GreenNeuralRobotsAI-инженер

3 нед

Audio8 ASR Infinite Нативная стриминговая модель распознавания речи. Декодирует 12.5 раз в секунду, память и задержка постоянны даже при 24/7 работе • Неограниченная длина аудио без дрейфа через адаптированный vLLM • Выбор аудио-часов: 80/120/160 мс, задержка 240–560 мс • Китайский и английский Гитхаб HF Демо HuggingChat #ASR MAX

asr распознавание речи ai vllm стриминг

ИИ ai vllm diffusiongemma djev llm оптимизация

vLLM добавил поддержку режима DJeV для DiffusionGemma

D@data_secretsAI-инженер

1 мес

- Мам, давай купим Jev по API - Нет, у нас есть Jev дома Jev дома: Мэтт Мастраччи, контрибьютор vLLM, взял DiffusionGemma 26B от Google и заставил ее работать по той же схеме, причем без дообучения модели. Вместо генерации текста задается шаблон ответа, а после одного шага denoising из логитов сразу достаются ответы и их вероятности. Поддерживаются yes/no, multiple-choice и scoring вопросы. Теперь этот режим добавили в vLLM. По первым тестам качество близко к оригинальному Jev, а в NVFP4 модель можно поднять на одной GPU с 24 ГБ памяти. https://github.com/taeold/djev-run

ai vllm diffusiongemma djev llm оптимизация

исследованиеИИ llm attention machine learning нейросети архитектура ai

Declarative Attention: LLM учат самостоятельно выбирать, куда «смотреть», без дополнительного обучения

AI-редакция

2 источника · показать все· свернуть

КПДDeclarative Attention: LLM-самоуправление вниманием КПДDeclarative Attention: метод оптимизации работы с длинным контекстом

собирается · 2обновлено 1 мес назад

Исследователи предложили метод Declarative Attentioni (DA), позволяющий языковой модели самой решать, какую часть длинного контекста учитывать при генерации ответа — без обучаемых селекторов и дополнительной тренировки. Модель размечает свои действия специальными хэштегами трёх типов внимания, а инференс ускоряется за счёт блочно-разреженной маски в vLLMi.

Это важно, потому что full attention остаётся дорогим местом в современных LLM даже на фоне более дешёвых GDN, SSM и скользящего окна, а существующие решения (в DeepSeek, MiniMax, Qwen) требуют обучаемых механизмов выбора токенов. DA показывает, что модель может справляться с этой задачей декларативно — просто указывая, куда смотреть.

ВыводЗадача подаётся модели в формате: системная инструкция → чанкированный контекст → вопрос → инструкция по использованию Declarative Attention.

2048целевой размер чанка контекста в токенах

1–3%просадка качества на крупных моделях

16/32паддинг размера чанков под блоки

Полный разбор →

llm attention machine learning нейросети архитектура ai

ИИ qwen llm квантование нейросети unsloth vllm

Сравнение Qwen 3.8: Q8_0 против FP8

Г@gmorevaAI-инженер

1 мес

Qwen 3.8 Q8.0 против FP8 Продолжаю цепочку роликов про Qwen 3.8. Сегодня — битва двух титанов: квант Q8_0 от Unsloth (llama.cpp, 2×2080, NVLink) против официального FP8 от Qwen (vLLM, 2×3090). Условия максимально честные: у обеих 8-битный KV-кэш (вы меня убедили отказаться от 4-битного), 200 000 контекста и самый крутой режим reasoning — X-High с неограниченным бюджетом на размышления. Никаких синтетических бенчмарков — только реальные задачи из моей работы, с одного и того же промпта, параллельно. 📹 YouTube | VK | Rutube | Dzen 📹

qwen llm квантование нейросети unsloth vllm

исследованиеИИ llm kv-cache nvidia оптимизация префилл машинное обучение

Перенос KV-кэша между разными LLM: независимая проверка идеи NVIDIA (Cache-2-Cache)

AI-редакция

3 источника · показать все· свернуть

КПДCross-Model KV Cache Transfer: метод передачи знаний между LLM КПДРеализация переноса KV-кэша между моделями в vLLM Love. Death. Transformers.Реализация переноса KV-кэша между моделями в vLLM

разгоняется · 3обновлено 2 мес назад

NVIDIA опубликовала статью о переносе KV-кэшiа между разными моделями: маленькая модель делает префилл (читает промпт), большая отвечает, используя её кэш через линейный маппинг — без повторного прогона промпта дорогой моделью. Идея развивает более раннюю концепцию Cache-2-Cache, где обучаемый fuser-модуль передавал в KV-кэш target-модели знания из source-модели; NVIDIA предложила упрощение — обучаемый (в большинстве случаев линейный) проектор, подбирающий наиболее полезные слои source-модели для target-модели.

У статьи NVIDIA не было ни кода, ни анонса — только цифры на 8x H100. Автор одного из телеграм-каналов решил проверить подход на практике: собрал реализацию внутри vLLM на паре Qwen3 0.6B и 1.7B на двух видеокартах 3090 и подтвердил, что метод действительно работает и даёт прирост скорости, хотя и меньший, чем заявляли авторы оригинальной статьи на топовом оборудовании.

ВыводНезависимая реализация: собственный KV-коннектор для vLLM, перенос кэша через /dev/shm, ridge-маппер с решением в замкнутой форме, обучение — 15 минут на датасете FineWeb

x2.22ускорение TTFT в независимом тесте

17-25xзаявленное NVIDIA ускорение на 14B/32B с NVLink

94%сохранённое качество по HellaSwag

Полный разбор →

llm kv-cache nvidia оптимизация префилл машинное обучение

ИИ Железо vllm инференс llm нейросети железо

vLLM опубликовал библиотеку рецептов для инференса моделей

Н@navuka_i_jiznAI-инженер

2 мес

Оказывается у VLLM есть список рецептов с описанием как/что инферить + можно понять сколько какого железа надо под модель. Сохраняйте в закладки (как эта страница мимо меня прошла - ума не приложу ⌨️) https://recipes.vllm.ai/

vllm инференс llm нейросети железо

ИИ IT ai ai-агенты qwen vllm инференс разработка

Вторая часть стрима про AI-агентов: архитектура, инференс и тестирование

К@kdoronin_blogAI-инженер

2 мес

Запись второй части нашего стрима про сбегающих AI-агентов. Посмотреть на YouTube можно здесь. Таймкоды: 0:00:00 — Приветствие и обсуждение планов на стрим 0:02:13 — Архитектура проекта SECS и схема пайплайна 0:06:42 — Интеграция навыков для кодовых AI-агентов 0:10:00 — Локальный запуск модели Qwen и vLLM 0:18:05 — Ускорение инференса через спекулятивное декодирование 0:28:20 — Воспоминания о культовых играх и компьютерах 0:33:45 — Настройка контекстного окна и параметров модели 0:44:00 — Сравнение видеокарт для инференса нейросетей 0:50:40 — Обсуждение генерации музыки в нейросетях 1:08:05 — Тестирование AI-агента на тестовой виртуальной машине 1:23:45 — Автоматизированный анализ и поиск путей эскалации 1:54:30 — Подведение итогов стрима и завершение трансляции Каналы участников стрима, чтобы подписаться: Павел Рыков Константин Доронин

ai ai-агенты qwen vllm инференс разработка

ИИ ai qwen gguf humming vllm оптимизация

Оптимизация модели Qwen-Image-2512 от ByteShape

Н@GreenNeuralRobotsAI-инженер

2 мес

Qwen-Image-2512 GGFU/Humming Пока Алибаба зажал новые квены, ByteShape оптимизировали старый. • шесть уровней квантизации для GGUF от 8 до 17 ГБ • Humming - экспериментальная интеграция, но быстрее GGUF • для vLLM-Omni: 8–17 ГБ, ускорение в 2–3 раза сравнение с оригинальной моделью #qi2512 #gguf #humming

Оптимизация модели Qwen-Image-2512 от ByteShape

ai qwen gguf humming vllm оптимизация

ИИ IT Железо ai llm vllm gpu разработка агенты

Проблемы использования OpenRouter для разработки AI-агентов

A@oestickAI-инженер

3 мес

Хз как люди пользуется OpenRouter По дурости тестили на нем систему, которая на локалках должна будет работать в контуре клиента, и это такая боль: - низкие лимиты у провайдеров - хрен пойми у кого реально есть поддержка structured output, даже если заявлено - а у кого есть, часто некорректная – натолкнулся на имплементацию с сортировкой ключей в алфавитном порядке 🥴 - нет моделей в целевом кванте - в какой-то момент провайдер просто лег на два часа (а другие не поддерживают норм SO для нужной модели, ага) Да, можно сразу тестить на целевой системе, но а) это нужно получать доступ в контур клиента и б) ждать пока одна его карточка все обработает А у нас autoresearch-like флоу, где агенты в 4 потока эксперименты крутят, нам такое не подходит Короче, надо было сразу арендовать GPU и поднимать там, а не страдать херней. Благо это делается в один промпт (если настроено управление браузером):

Codex, сходи через мой браузер на hf и подними мне vLLM на h200 с <model-name> на <context-len> токенов максимального контекста с <concurrency-num> параллельных запросов. Посмотри в документации и на реддите рекомендации по конфигам и проверь, что мои требования вообще выполнимы или предложи трейдоф

P.s. если нужно часто, установите huggingface_hub и дайте токен админский, чтобы агент через браузер не мучался P.p.s. не забываем потом остановить ноду, а то можно без штанов остаться (если хочется автоматически, юзаем scale_to_zero_timeout=20) Альтернативы: runpod.io, modal.com, cloud.ru (не реклама, а зря) Хз, для кого-то это очевидно, но у нас это первый проект, на котором сошлись локальные модели, отсутствие доступа к железу клиента, и огромный трафик autoresearch подхода

ai llm vllm gpu разработка агенты

ИИ deepseek llm dspark ai opensource inference

DeepSeek представила DSpark: открытый стек для ускорения генерации LLM

AI-редакция

5 источников · показать все· свернуть

Data SecretsDeepSeek представили DSpark: открытый стек для ускорения генерации LLM КПДDSpark: оптимизация параллельного драфтинга для LLM КПДDSpark: оптимизация спекулятивного декодирования в LLM КПДDSpark: оптимизация параллельного драфтинга для LLM КПДАнализ архитектуры модели DSpark и сравнение с Dflash

хайп · 5обновлено 3 мес назад

Компания DeepSeek выпустила DeepSpec — полностью открытый программный стек для ускорения генерации больших языковых моделей (LLM). Ключевым компонентом стал алгоритм DSpark, который использует метод параллельного драфтинга с динамической настройкой длины черновиков.

Технология позволяет увеличить скорость генерации текста в 1.5–1.85 раза без потери качества. Решение уже внедрено в продакшн-версии моделей DeepSeek-V4 Flash и Pro.

60–85%прирост скорости генерации

16–18%превосходство в acceptance length

Полный разбор →

deepseek llm dspark ai opensource inference

Это всё на сейчас.