Обзор Jev: альтернатива LLM для классификации задач

Пару дней назад Твиттер порвала новость о новой модели — Jev. Точнее это не модель а System One Models 🤯 Меня сначала зацепили голые цифры: до 400+ раз дешевле и почти в 200 раз быстрее LLM на одинаковых задачах. Но Jev — вообще не LLM. Она не пишет текст. Это классификатор. Ты даешь ей условия и вопрос, а она отвечает вероятностями. Например: — этот комментарий спам? — 93% да; 7% нет 😍 И вот это мне жесть как нужно. Потому что сейчас для любого «умного» решения в приложении я тащу LLM. Она долго думает, жрет токены, стоит денег. А таких решений за один прогон может быть десятки. С Jev можно прогнать их параллельно, быстро получить вероятности и дальше уже обычным кодом решить, что делать. По сути это очень умные if'ы. Правда есть нюанс: задачу придется описывать гораздо структурированнее. Левой пяткой накидать промпт, как с LLM, уже не получится. 🤷‍♂️ Но для кода это, кажется, скорее плюс. Я вообще не собирался про Jev писать, потому что штука довольно узкая. Но, так уж получилось, я быстро пролетел waitlist, получил early access, поигрался в Playground — и, если честно, немножко в шоке. 😅 У меня уже есть место в новом функционале YHub, куда это можно воткнуть буквально сразу. Очень интересно посмотреть, как оно покажет себя в реальном приложении. Свята место | 10МДК | YHub