Эволюция внедрения LLM: от ручных пайплайнов к агентным архитектурам и защите кода

Этот канал начинался три года назад с разбора кейсов внедрения LLM в бизнес продукты в компаниях США и Европы. Тогда команды брали API от OpenAI, Anthropic или локальной модели, обвязывали промптами и RAG-ами и вызывали для принятий решений: переводов текстов, генерации лидов, разбора тех документации, поиска проблем в нормативных документах итп. Стабильных архитектур тогда не было, и магию построения стабильных пайплайнов с LLM под капотом приходилось изучать самостоятельно. Тогда тесты собирали вручную, а пайплайны допиливали напильником. Это было искусством. А с тех пор ситуация незаметно изменилась (во всяком случае, в моем окружении). Кейсов с “ручным” внедрением LLM в продукты стало сильно меньше, ибо зачем возиться, когда можно взять стабильную и доказанную архитектуру агента и просто подключить ее к своей проблеме. Так, например, команды портируют архитектуры агентов с одного BitGN бенчмарка на другой, или даже побеждают с архитектурами оттуда в других соревнованиях. Кстати, если же брать готовое, то особенно популярен в США/EC в бизнес-задачах OpenAI Codex. Claude - несколько меньше. Вторая причина интереснее. Сейчас нет стремления “а давайте добавим дорогой и медленный вызов LLM-ки на каждый запрос пользователя, чтобы была магия”. Выяснилось, что это нужно делать долго и с умом, чтобы оно того стоило. А еще выяснилось, что у нас есть проблемы поважнее. Если данные - это кровь и топливо бизнеса, то код - это его двигатель. И скорость устаревания существующего кода в этом году заметно выросла. Если раньше можно было запилить приложение и оставить его крутится на мейнфрейме лет на 30, с апдейтами раз в год, то сейчас это немыслимо. Причина не столько в том, что фреймворки и библиотеки стали меняться гораздо быстрее и легче. Все веселее - AI резко удешевил анализ чужого кода, поиск уязвимости и сборку эксплойтов. Теперь не нужно быть специалистом, чтобы разобрать бинарь или железку на запчасти с Ghidra/IDA, Wireshark и Qwen/DeepSeek. Даже не нужно знать все эти слова) Нынче код уже стареет не тогда, когда перестает работать, а когда даже ленивый сможет его недорого сломать. В итоге код перестает быть активом, который однажды написали и десятилетиями можно использовать. Теперь он скорее становится расходным материалом, его нужно непрерывно проверять, обновлять без отрыва от производства. И сейчас в моих кругах получается, что перспектива поменялась так: (1) нужно решать новые бизнес-задачи? Да просто берем отлаженный harness от OpenAI Codex (или кого-то еще) и собираем конструктор (2) сэкономленное время и деньги бросаем на тушение настояших пожаров и поддержку с помошью AI Coding agents существующего кода, который приносит деньги. А как выглядит ситуация у вас? Ваш, @llm_under_hood 🤗