Бенчмарк специализированной LLM модели Jev
L@llm_under_hoodAI-инженер
1 месОбзор возможностей специализированной модели Jev, использующей Schema-Guided Reasoning для задач классификации, и результаты её тестирования.
Jev показывает, что узкоспециализированные модели могут быть эффективнее и дешевле универсальных LLM в задачах классификации.
- Модель Jev оптимизирована под Schema-Guided Reasoning, что делает её быстрым инструментом для классификации.
- Для простых задач классификации (например, фильтрация почты) специализированные модели могут заменить тяжелые универсальные LLM.
- Использование таких моделей позволяет существенно снизить затраты на инференс при сохранении высокой точности в узких сценариях.
LLM Benchmark Jev - топ для простых задач
Jev - это новая LLM модель, в которую встроили Schema-Guided Reasoning, превратив в гибкий классификатор по шаблону.
Jev не может генерировать тексты, но может на лету выбирать из предложенных вариантов. Поэтому модель можно использовать в задачах вроде классификации входящей почты, проверки запросов на красные флаги.
Главное - не делать задачу слишком сложной.
А вот насколько сложные задачи сложны для Jev? Мне стало интересно, и я адаптировал агентский бенчмарк BitGN, выбрав оттуда те задачи, которые можно свести к задачам классификации.
Это разовый бенчмарк, который создан исключительно для Jev, чтобы можно было примерно прикидывать его когнитивные способности - насколько сложные задачи можно давать на вход.
Понятно, что Jev не сравниться с нормальными LLM по гибкости и мощности (там даже Loop/Cascade из SGR толком не сделаешь), но вот в качестве узкоспециализированного инструмента под ряд задач - это стоящий вариант.
И получается очень приятная картина - Jev на 14 месте, причем работает очень быстро и стоит сущие копейки.
В данном бенчмарке задачи за пределами возможностей Jev. А если давать ему задачи “по плечу”, то картина получается еще красивее. Айгиз написал статью для TimeToAct как раз про такие задачи.
Будем ждать новых гибридных моделей, которые могут работать по SGR подходам. Причем делать это без двойной работы через JSON Schema + inference + constrained decoding (то есть работать быстрее и дешевле).
Ваш, @llm_under_hood 🤗
Кратко (AI)
Модель Jev использует подход Schema-Guided Reasoning для эффективной классификации данных, не обладая при этом навыками генерации текста. Автор адаптировал бенчмарк BitGN для оценки когнитивных способностей модели, отметив её высокую скорость и низкую стоимость при выполнении узкоспециализированных задач.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖