⚡️
Liquid AI выпустила модели, которые принимают решения и не генерируют ни одного токена
Liquid AI представила
decision models, первая из них называется
d1. Модель получает контекст в виде текста или JSON и за один вызов возвращает
откалиброванные вероятности по заранее заданным вариантам ответа.
Вопросы бывают трёх типов:
«да или нет» с вероятностью от 0 до 1,
выбор из нескольких вариантов с распределением вероятностей и
оценка по шкале. Несколько вопросов можно задать
в одном запросе.
Ответ не нужно парсить,
ошибок схемы не бывает, задержка низкая и предсказуемая, а
три вызова LLM сливаются в один. Вместе с ответом приходит уверенность модели, поэтому спорные случаи легко отправить на большую модель или человеку.
Модели:
https://docs.liquid.ai/lfm/models/decision-models
Гайд по миграции: https://docs.liquid.ai/guides/decision-model-guide
Демо:
https://github.com/Liquid4All/cookbook/tree/main/examples/road-decider
@ai_machinelearning_big_data
#LiquidAI