⚡
Для решения «куда отправить запрос» не всегда нужна модель, которая пишет целый ответ.
Decision 3.0 от команды vLLM Semantic Router: семейство открытых моделей размером
от 0,6B до 27B, работающих с текстом, изображениями и видео.
На входе задаёте контекст и вопросы. На выходе получаете:
• выбор из предложенных вариантов;
• ответ «да / нет»;
• оценку по заданной шкале;
• вероятности вариантов.
Без генерации текста. Например, можно определить отдел для обращения, проверить наличие товара на приложенном чеке и оценить срочность.
По внутренней оценке команды, старшая
d3 занимает первое место в их сравнении на текстовом и визуальном
Jev Decision Index 0.3.1. Заявленная медианная задержка:
55 мс для текста и 273 мс с изображением на AMD MI325X.
Лицензия
Apache 2.0. Любопытный вариант для маршрутизации, классификации и узких решений внутри агентных систем.
https://huggingface.co/vllm-sr/d3