Cloudflare выпустила превью Clairic — это модель fact-extraction, с обещанием вскоре открыть веса. Модель относит себя к классу System One, который месяц назад ввела TypeSafe с моделью Jev, но в отличие от Jev и собственной decision модели Cloudflare Clef выдаёт не вероятности по списку вариантов, а типизированные значения: текстовые спаны с позициями символов, числа, даты, длительности, списки, оценки в виде распределения с 80-процентным интервалом и прогнозы ряда по шагам. Ответ формируется за один прямой проход без генерации токенов, оплата только за вход, типичная задержка меньше секунды.
Сама идея модели прекрасна — сплошь и рядом использование LLM для задач "извлеки такие-то данные и верни JSON" выглядит излишеством, да еще и медленным, и приходится конструировать цепочку из NER, скриптами и вызовами LLM, что тоже не очень быстро и надежно. Правда, измерить качество работы пока не с чем — сравнение с LLM заведомо выигрышно для новой модели.
Будет интересно посмотреть на веса и требования к локальному запуску — возможно, модель вполне подойдет для запуска на мощном ноутбуке или карте уровня RTX4090, хотя runtime придется собирать нетиповой.
https://blog.cloudflare.com/clairic-extraction-model/