TypeSafe представили Jev — специализированную модель для структурированных ответов
E@ProductsAndStartupsAI-инженер
1 месОбзор новой модели Jev от TypeSafe, которая не генерирует текст, а работает с типизированными данными, обеспечивая высокую скорость и низкую стоимость.
Новый подход к ИИ позволяет автоматизировать рутинные задачи в десятки раз быстрее и дешевле.
- Модель Jev исключает генерацию текста, фокусируясь на структурированных данных.
- Скорость обработки запросов сократилась до долей секунды.
- Стоимость использования значительно ниже стандартных языковых моделей.
- Идеально подходит для интеграции в программные пайплайны, где общаются машины, а не люди.
Попробовал модель, что не умеет писать текст
TypeSafe выкатили Jev - «System One» модель (название - привет Канеману): она вообще не генерирует текст, только отвечает на типизированные вопросы - да/нет, выбор из вариантов, шкала - и отдает вероятности. За счет этого она работает гораздо быстрее и дешевле. Вообще на сайте компании есть хороший раздел, почему они считают за этим будущее: вкратце, потому что машины в 99% случаев будут с машинами болтать, а не с людьми, поэтому не нужен им этот текст.
Помните мой пост про R1 вместо кучи if-ов? Вот ровно под такие вызовы и, только 4 цента за 1M входных токенов, а выходные - бесплатно вообще.
Прогнал на тех же 10 кейсах скоринга лидов, на которых я в июле сравнивал open source модели:
1) точность - такая же, check
2) скорость: ~0.24 сек на лид против 3-90 сек у LLM
3) цена: ~$0.0001 за скоринг
В целом, у нас в проде есть ряд пайплайнов, где такая оптимизация очень даже в тему. В общем, рекомендую посмотреть
Кратко (AI)
Компания TypeSafe выпустила модель Jev, которая специализируется на типизированных ответах (да/нет, выбор из списка) вместо генерации текста. Благодаря узкой специализации модель работает значительно быстрее и дешевле стандартных LLM, что делает её эффективным решением для автоматизированных пайплайнов.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖