SGLang добавил поддержку вероятностных ответов для чат-моделей

🌟 SGLang научил чат-модели отвечать вероятностями Команда открытого движка инференса SGLang добавила эндпоинт /v1/decisions, который превращает обычную чат-модель в модель для принятия решений. Второй эндпоинт, /v1/systemone, отдаёт те же решения в формате System One API, который TypeSafe AI представила 19 сентября вместе со своей моделью Jev. API поддерживает выбор из 2–26 вариантов (до 255 с двухбуквенными метками), оценку по шкале из 2–10 уровней и вопрос «да или нет». SGLang присваивает каждому варианту метку из одного токена - буквы для выбора, цифры для оценки, yes и no для бинарных вопросов. Затем движок читает логарифмические вероятности следующего токена по всему словарю и переводит их в вероятности через софтмакс с учётом температуры.

Отсюда ограничение - метка обязана укладываться в один токен в позиции ответа.

Решение принимает один вход без истории диалога, а вероятности у холодного запроса и у запроса из префиксного кэша могут расходиться на несколько сотых. Для демонстрации SGLang заставил Qwen3.8-27B играть в Pokémon FireRed. Модель по текущему состоянию игры выбирала между атакой, сменой покемона и лечением меньше чем за 100 мс на решение и прошла Элитную четвёрку и чемпиона. Функция доступна в nightly-сборках SGLang из основной ветки. Её проверили на Qwen3.8-27B и Qwen3.5-35B-A3B, другие модели подойдут, если метки ответов укладываются в один токен. Примеры запросов и описание формата есть в документации SGLang. @ai_machinelearning_big_data #news #ai #ml