Diogo Almeida, один из соавторов исследования InstructGPTi и метода RLHF, лежавших в основе ChatGPT, после ухода из OpenAI в 2024 году основал стартап TypeSafe AI и два года работал в стелс-режиме. 16 сентября команда представила Jev — первую модель нового класса «System One Modelsi»: вместо последовательной генерации текста она параллельно отвечает вероятностями на заранее заданные вопросы (да/нет, выбор варианта, шкала), возвращая структурированный JSON, а не строку, которую потом нужно парсить.
За счёт отказа от генерации языка Jev обещает резкое ускорение и удешевление на задачах классификации, скоринга и роутинга — том самом «мясе» агентных пайплайнов, где обычно впустую жгутся токены на пояснительный текст. Это вызвало волну хайпа («новый ChatGPT/DeepSeek момент») и одновременно скепсис: независимые тесты показывают, что Jev — скорее очень быстрый и дешёвый специализированный классификатор, а не замена большим LLM.
- Jev получает контекст и список заранее заданных вопросов/вариантов и выдаёт по каждому вероятность (например: «клиент недоволен? да 93%»); ответ занимает 70–500 мс.
- Цена: $0,042 за 1 млн входных токенов, выходные токены бесплатны навсегда; на старте доступа дают $5 на счёт (≈120 млн токенов), сервис доступен через console.typesafe.ai/home.
- По заявлению TypeSafe, собственные тесты автоматизации показывают ускорение до 193,6 раза и снижение стоимости до 444,6 раза против обычных LLM; авторы уточняют, что эти множители близки к верхней границе ожидаемого выигрыша.
- Обучение построено на методе RLCDi (Reinforcement Learning for Calibrated Decisions) — собственной разработке TypeSafe, которая, в отличие от RLHF (учит модель нравиться людям), должна калибровать уверенность модели в своих решениях.
- В демо с Doom модель принимала около 10 решений в секунду на основе данных о состоянии игры, стоимость демонстрации — около $7 в час; команда Every получила 777 оценок документов менее чем за 0,7 секунды, а в тесте на распознавание ошибок Jev нашла 6 из 7 заложенных багов против 7 из 7 у Fable 5.1 high (при этом была в 25 раз быстрее и ~580 раз дешевле).
- Независимые замеры разнятся сильно: на бенчмарке Banking77 Jev показал 81% против 84,4% у Opus 5, на русском XNLI просадка на 11 п.п.; при наличии 2000+ размеченных примеров дообученный маленький энкодер обходит Jev — 88,8% против 77,8%; на одном бенче с фишинговыми письмами Jev проиграл даже Haiku.
- Сообщество уже строит на базе Jev инструменты: на GitHub выложена коллекция библиотек, почтовый клиент Cora заменил Jev-вопросами 214 правил сортировки почты, а в одном кейсе модель разобрала 724 рекламных ролика по хукам и CTA за 40 секунд и $0,09.
Сообщество ждёт полного технического отчёта TypeSafe; ключевой вопрос, поднятый критиками (в частности, в посте from:adam), — удержится ли преимущество Jev в цене/задержке/стабильности решений, когда через 2–3 месяца качество фронтирных LLM на этих же задачах подрастёт за счёт дистилляции улучшений большой модели вниз по линейке.
Это произошло: Анализ эффективности Jev в задачах классификации →
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖