Hirify Feed — your shortcut to what’s next

На Artificial Analysis появился бенчмарк для decision-моделей

Decision Index Первый бенчмарк для decision-моделей на Artificial Analysis — Jev и подобных Слабое место почти у всех — отказ от галлюцинаций: у GLiDE 16.4, у Clef 4.3, у Celeris-1 ноль. То есть модели уверенно выбирают вариант, но не всегда честно говорят «не знаю» Спасибо @morozovsk #benchmark #decision #leaderboard MAX

Релиз семейства моделей Decision 2.0 от vLLM Semantic Router

Decision 2.0 Семейство открытых decision-моделей от vLLM Semantic Router. Не генерируют текст, а отвечают на вопросы с вариантами ответа, да/нет или по шкале — сразу вероятностью для каждого варианта, одним проходом. • Ответ на вопросы выбора, да/нет и по шкале за один проход • Вероятность для каждого варианта вместо генерации текста • Вход — текст или JSON • Режим роутинга запросов: какой команде отдать тикет, есть ли чек, насколько срочно • 6 размеров: от 0.6B до 27B (Vega-27B, Lux-9B, Nox-4B, Sol-2B, Eos-0.8B, Kai-0.6B) • Контекст 32,768 токенов • Медиана 71.4 мс на вопрос на одной GPU Vega-27B — лучший в семействе, топ-скоор JevArena для своего размера (74.0) github.com/vllm-project/semantic-router Спасибо @m_franz #decision #rlcd MAX