Сравнительный бенчмарк Jev-style моделей для принятия решений

Наш товарищ по цеху Дима Антипов, автор канала @anti_notes провел небольшой ресерч в свете выхода Jev-style моделей. Дима сделал собственный бенч и прогнал на нем разные решения. Результаты получились интересные, можно подробно ознакомиться на хабре. 📌 TL;DR • 12 моделей на 5000 русскоязычных примерах в пяти категориях, формат — вопрос-ответ без глубокой доменной специфики с золотой разметкой людьми • По качеству победил локальный Perplexity Decider 27B — 98,14%, Jev чуть отстал 96,46% • OpenAI Decisions — самый быстрый облачный вариант (109 мс), Liquid d1 — самый дешёвый ($0,009 за 1000 решений) • Маленькие модели хороши для узких задач, но сильно проигрывают на универсальном наборе • Почти главный вывод (кто бы мог подумать): модели часто ошибаются не из-за недостатка возможностей, а из-за неоднозначности самих правил принятия решений ⚡️Из интересного: FRIDA-Decisions — хороший пример того, зачем вообще нужны специализированные модели. При 823 млн параметров дообучение подняло точность в этом бенче с 55,6% до 69,8%, а на релевантности — с 38% до 82%. При этом модель занимает около 1,7 ГБ в bf16 и отвечает за феноменальные 14,8 мс. По метрикам уступает, но есть куда расти. #jev #frida #decisions