Ну вот, подходящий конкурент Jev - GLiNER-2.5
Как уже писал выше их NER в GLiNER-2 я выбрал из десятка моделей для поиска и вычищения персональных данных. Это скорее 100% конкурент JEV, более под операционную часть. Передаешь текст и набор меток прямо в вызове – получаешь ответ. Без промпта, без генерации токенов, один проход.
Если по кейсам, то можно прикинуть, что это например:
– интент клиента (возврат, отмена подписки, проблема со входом)
– роутинг тикетов и писем по отделам
– сентимент, включая «mixed», и аспекты отзыва (батарея плохая, экран отличный)
– срочность, severity инцидентов, спам, модерация
– «нужно ли звать человека» и даже «закончил ли агент задачу»
– несколько решений за один вызов: интент + приоритет + нужен ли человек + темы
Можно дать метки с описаниями, если название само по себе неоднозначное, и шкалы типа 0–10 для оценок.
Бенчмарки (свой датасет fast-decisions, 17 доменов, exact match):
– GLiNER2.5-Decide 340M – 60.2%
– GLiNER2.5-Decide 1B – 59.6%
– Jev – 57.6%
– мультиязычная версия 287M – 56.7%
То есть обходит без проблем расхайпленный JEV, при этом работает на CPU, лицензия Apache 2.0, можно поставить на любую табуретку у себя.
Короче, это уже можно в продакшене у себя использовать. Поставить перед LLM: первичная сортировка входящего потока, быстрое принятие решений, извлечение информации, заполнение метаданных, фильтрация. Гонять коммерческую модель еще и с задержкой до провайдера по интернету будет явно дороже и дольше.
https://huggingface.co/fastino/GLiNER2.5-Decide