Дима Антипов, автор канала @anti_notes, провёл собственное исследование новой волны «decision models» (Jev-style моделейi) и опубликовал результаты в статье на Хабре. Эти модели предназначены не для генерации текста, а для быстрого принятия небольших «решений» внутри AI-пайплайнов, и если они смогут работать с качеством, близким к 100%, за доли секунды и за копейки — это может изменить архитектуру и процессы разработки значительной части софта.

Сергей Марков, автор канала «Сергей Марков: машинное обучение, искусство и шитпостинг», назвал идею decision-моделей «настолько простой и элегантной», что удивился, как долго индустрия к ней шла, и подтвердил результаты бенчмарка собственным прогоном моделей той же ночью.

• Бенчмарк включал 12 моделей, протестированных на 5000 русскоязычных примерах в пяти категориях; формат — вопрос-ответ без глубокой доменной специфики, с золотой разметкой, сделанной людьми
• Лучшее качество показала локальная модель Perplexity Decider 27Bi — 98,14%; Jev отстал незначительно — 96,46%
• Среди облачных решений самым быстрым оказался OpenAI Decisions — 109 мс на запрос
• Самой дешёвой моделью стала Liquid d1 — $0,009 за 1000 решений
• Маленькие модели хорошо работают на узких задачах, но заметно проигрывают на универсальном наборе данных
• Главный вывод исследования: модели часто ошибаются не из-за недостатка возможностей, а из-за неоднозначности самих правил принятия решений
• FRIDA-Decisionsi (823 млн параметров) после дообучения подняла точность в бенчмарке с 55,6% до 69,8%, а по релевантности — с 38% до 82%; модель занимает ~1,7 ГБ в bf16 и отвечает за 14,8 мс — по метрикам уступает лидерам, но имеет потенциал для роста