Выпуск Decision 3.0: специализированные модели для классификации и маршрутизации
M@machinelearning_interviewAI-инженер
2 недКоманда vLLM Semantic Router представила Decision 3.0 — семейство открытых моделей для классификации текста, изображений и видео без генерации текста.
Новый инструмент позволяет автоматизировать сортировку запросов в ИИ-системах значительно быстрее, чем при использовании полноценных генеративных моделей.
- Снижает затраты на вычислительные ресурсы за счет отказа от генерации текста.
- Повышает скорость обработки входящих данных (маршрутизация, классификация) до миллисекундных значений.
- Подходит для создания эффективных агентных систем, требующих быстрой логики принятия решений.
⚡ Для решения «куда отправить запрос» не всегда нужна модель, которая пишет целый ответ.
Decision 3.0 от команды vLLM Semantic Router: семейство открытых моделей размером от 0,6B до 27B, работающих с текстом, изображениями и видео.
На входе задаёте контекст и вопросы. На выходе получаете:
• выбор из предложенных вариантов;
• ответ «да / нет»;
• оценку по заданной шкале;
• вероятности вариантов.
Без генерации текста. Например, можно определить отдел для обращения, проверить наличие товара на приложенном чеке и оценить срочность.
По внутренней оценке команды, старшая d3 занимает первое место в их сравнении на текстовом и визуальном Jev Decision Index 0.3.1. Заявленная медианная задержка: 55 мс для текста и 273 мс с изображением на AMD MI325X.
Лицензия Apache 2.0. Любопытный вариант для маршрутизации, классификации и узких решений внутри агентных систем.
https://huggingface.co/vllm-sr/d3
Кратко (AI)
Команда vLLM Semantic Router выпустила семейство моделей Decision 3.0, предназначенных для задач классификации и маршрутизации запросов без генерации текста. Модели поддерживают работу с текстом, изображениями и видео, предлагая высокую скорость обработки и лицензию Apache 2.0.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖