Обзор Typesafe: специализированный классификатор вместо LLM

https://typesafe.ai/ довольно интересная игрушка. чуваки отказались от человеко-читаемого текста в ответах в пользу исключительно структурированной информации + сделали по сути generic classifier вместо классической llm (то есть текст оно вам не напишет, как и код, но сверх-быстро принимать решения уровня "в какую категорию это попадает" может). сравнения с LLM в скорости довольно лукавые, но концептуально - очень интересная штука, потому что, по ощущениям, особенно в производственных агентных воркфлоу (а не просто day-to-day usage), 95% задач, которые решает агент - это либо буквально классификации, либо они могут быть сведены к цепочке классификаций. а обучать собственные классифаеры многим (всем) вообще не хочется, и так в воркфлоу появляются какие-нибудь 0.5b-модели с structured output уровня { result: boolean } или { category: ECategoryEnum } в общем, в вейтлист записался, будет очень интересно потыкать. P.S. интересно, а если этому Jev на вход подавать текст, а на выходе попросить дать вероятностное распределение для следующей буквы ну или там группе букв, и так делать много раз подряд, то нельзя ли из этого сделать какую-то крутую архитектуру для генерации человеко-читаемого текста или кода? 🙂