Релиз семейства моделей Decision 2.0 от vLLM Semantic Router

Представлено семейство открытых decision-моделей Decision 2.0 для классификации и принятия решений с вероятностным выводом.

Новый класс специализированных моделей позволяет автоматизировать классификацию запросов значительно быстрее традиционных LLM.

Модели Decision 2.0 работают быстрее за счет отказа от генерации текста в пользу вероятностного вывода.
Подходят для задач маршрутизации тикетов, анализа срочности и классификации данных.
Широкий выбор размеров (от 0.6B до 27B) позволяет гибко подбирать модель под вычислительные ресурсы.

Decision 2.0 Семейство открытых decision-моделей от vLLM Semantic Router. Не генерируют текст, а отвечают на вопросы с вариантами ответа, да/нет или по шкале — сразу вероятностью для каждого варианта, одним проходом. • Ответ на вопросы выбора, да/нет и по шкале за один проход • Вероятность для каждого варианта вместо генерации текста • Вход — текст или JSON • Режим роутинга запросов: какой команде отдать тикет, есть ли чек, насколько срочно • 6 размеров: от 0.6B до 27B (Vega-27B, Lux-9B, Nox-4B, Sol-2B, Eos-0.8B, Kai-0.6B) • Контекст 32,768 токенов • Медиана 71.4 мс на вопрос на одной GPU Vega-27B — лучший в семействе, топ-скоор JevArena для своего размера (74.0) github.com/vllm-project/semantic-router Спасибо @m_franz #decision #rlcd MAX

Кратко (AI)

Проект vLLM Semantic Router представил семейство моделей Decision 2.0, предназначенных для классификации запросов и принятия решений без генерации текста. Модели выдают вероятности для вариантов ответа за один проход, что обеспечивает высокую скорость работы (медиана 71.4 мс). Линейка включает 6 моделей размером от 0.6B до 27B параметров.

Релиз семейства моделей Decision 2.0 от vLLM Semantic Router

Кратко (AI)

Обсуждение