cargo test или git status. Базовый мажоритарный класс забирает почти 80%. Не каждый LM классификатор так осилил!
2. Как всегда, не все ошибки одинаково Анализ эффективности Jev в задачах классификации
p@partially_unsupervisedAI-инженер
1 месРазбор возможностей модели Jev: сравнение с Sonnet 5, открытыми моделями и оценка применимости в реальных пайплайнах кодинг-агентов.
Продукт и упаковка часто важнее чистой мощности модели.
- Jev демонстрирует, что специализированные модели с хорошим API могут быть эффективнее универсальных LLM в узких задачах.
- Для простых задач классификации часто достаточно базовых методов, а не тяжелых моделей.
- Калибровка модели важнее общей точности при работе с критическими данными.
Jev, про который говорят на каждом углу - это может и не революция технически, но чертовски сильная штука с точки зрения продукта. Да, под капотом там явно что-то более приличное, чем голый BERT в zero-shot, классические MNLI-пайплайны или открытые альтернативы вроде SemIf (бывший OpenJev), Laya на ModernBERT или Bespoke-Nimble. Но главное не в этом: чуваки идеально высекли подзадачу и завернули ее в человеческий API.
И случился занятный психологический эффект: сам факт релиза заставил людей - включая меня - проводить ревизию своих пайплайнов с мыслью: «А что я у себя прямо сейчас могу пересадить на такую быструю и дешевую штуку?». Иронично, что если сесть и трезво посчитать, современные flash-модели не сильно отличаются от Jev: по деньгам это копейки и там, и там, разница в latency невелика, качество одного порядка. Упаковка тащит.
Я успел немного погонять Jev на живой задаче: размечать тул-коллы в траекториях кодинг агентов на тему безопасности. Собрал сотню вызовов, четыре подзадачи на каждый, натравил Jev, Sonnet 5 и открытые модельки, с панелью LLM-as-a-judge для оценки:
1. Привет из классического ML: majority константа все еще сильный бейзлайн. В реальных сессиях 4 из 5 вызовов тулов - это унылая рутина вроде полезны вредны. У Sonnet 5 роскошные 90%+ общей точности (~80% у Jev), но на редких реально опасных вызовах Recall 4 из 9 (у Jev 7 из 9).
3. Из коробки открытые альтернативы не очень. В zero shot режиме мелкие открытые декодеры сколлапсировали в ноль. Делаем банальный циклический сдвиг вариантов ответа (A/B/C -> B/C/A): Qwen 0.6B в 100% случаев выбирает A, MiniCPM в 100% случаев жмет последний вариант. С few shot получше, но encoder-based модели я не смог довести до уровня той же константы.
4. Калибровка удивительно хороша. Если фильтровать предсказания Jev с конфиденсом >= 0.7, он не ошибся ни разу. У самодельных реранкеров и дешевых моделек софтмакс получился размазан тонким слоем (разница между топ-1 и топ-2 часто в районе 0.05).
5. Jev - это все еще LM. Не надо слишком надеяться на детерминизм и отсутствие positional bias. На моем датасете шумело на ~2-3% между прогонами и позициями.
В общем, отличный пинок вспомнить, что не на каждую кнопку нужно доставать Astra и Fable. Кстати, на все развлечения в API Jev я потратил бешеные $0.37.
See also: мнение Ильи про Jev.
Кратко (AI)
Автор анализирует популярность модели Jev, отмечая, что её успех обусловлен качественным API и удачным позиционированием, а не только техническим превосходством. В ходе тестирования на задаче классификации вызовов инструментов кодинг-агентов Jev показал хорошую калибровку и высокую точность на редких событиях по сравнению с более мощными моделями, хотя и уступил Sonnet 5 в общей точности.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖