Обзор книги Beyond LLMs о production-системах на базе ИИ

​​Beyond LLMs: The Next Frontier of AI — Sahir Maharaj Я получил от Packt очередную книгу на ревью. Она про то, что строится вокруг языковой модели в production-системе: явное состояние, память, агенты с ограниченными правами, детерминированные правила, evaluation и контроль стоимости. Основной тезис: большинство сбоев в production - архитектурные. Есть end-to-end пример: SupportOps AI (ассистент службы поддержки), который вырастает от одного вызова модели в первой главе до multi-agent системы со слоем правил в конце. Из интересного: книга постоянно возвращается к вопросу, относится ли задача к языку или к логике и состоянию. Понять, что имеет в виду клиент - это про язык, а проверить, есть ли у него просрочка, или посчитать сумму возврата - про логику: "The model does the understanding. The code does the deciding." На этом построен паттерн propose-then-constrain: модель предлагает ответ или действие, а детерминированные правила решают, выполнить его, отправить на доработку, заблокировать или передать человеку. В медицинском чатботе в MTS AI, где я вёл NLP-часть, у нас было такое разделение задолго до LLM: модели извлекали симптомы и их атрибуты, а бот задавал шаблонные вопросы, пока все слоты не были заполнены. Классификация у нас была на TF-IDF с логрегом, и книга тоже пишет, что для узкой классификации с большим потоком запросов хорошо настроенный логрег часто выигрывает у LLM по стоимости и latency. Главы про агентов — о том, как ограничить действия модели, и в книге есть хорошая фраза на эту тему: "Prompts can be interpreted around; a state that mechanically hides the tool cannot." Книга годная. Amazon Code Author Мои обзоры: Блог Medium #bookreview