Инженерный подход к внедрению AI: опыт Яндекс Лавки

Побывали с командой на deep tech night в офисе Яндекса Слушали доклады, общались с экспертами и нетворкали. Фишка deep tech night в том, что организаторы намеренно ушли от докладов в стиле «нас ждет экспоненциальный рост <вставить любую метрику>» и предложили именно хардово-инженерный взгляд на происходящее. Выступали эксперты, которые работают с AI на проде, начиная от инфраструктуры и заканчивая рексис и автономным транспортом. Из докладов в целом вырисовались две мысли, которые звучат сегодня не так часто: 1. Главные изменения от ИИ происходят внутри продуктов, там, где пользователь их часто не видит. Не в виде очередной фичи «AI», а в виде перестройки внутренних процессов: как компания планирует спрос, распределяет ресурсы, принимает операционные решения. Именно этот путь (а не появление кучи новых пользовательских ассистентов), выглядит как то, что реально ускоряет прогресс. 2. Когда доходит до конкретики внедрения, модель – далеко не главный герой. Напротив, способности LLM растут быстрее, чем компании успевают перестроить процессы под них. Сейчас решает инфраструктура, инструкции и харнесс. Поясним на примере Яндекс Лавки. Станислав Макеев, директор по технологиям и AI-трансформации в Лавке, рассказал, как сервис идет к управлению агентами. AI постепенно берет на себя спрос, остатки, поставки, сборку и доставку. Все помнят эксперимент Anthropic, где Claude управлял магазинчиком. Здесь то же самое, но в масштабе сервиса с миллионами пользователей. И вот здесь начинается инженерия. Какая бы сильная не была модель, ее нельзя просто взять и воткнуть в инфраструктуру, спроектированную для людей. У Лавки часть админок была недоступна по API, данные приходили с опозданием, из-за чего решения агента строились на устаревшем контексте, инструкции местами противоречили сами себе, а LLM иногда перезаписывала поля, которые должны были меняться только по строгим правилам. Ничего из этого не чинили моделью: чинили то, что вокруг нее. Добавили интеграции и инструменты вместо UI-для-человека, научили агента переживать сбой и запускаться заново, вынесли проверяемые правила из инструкций в код, закрыли критичные поля от перезаписи. В итоге собрался даже не отдельный харнесс под задачу, а большой общий набор компонентов для всех агентов Лавки. Там агент-gateway как точка входа, потом слой авторизации, оркестрация через ATS поверх Temporal, а сами действия агента разделены на tool, model, agent и sandbox actions, которые уходят через tool proxy во внутренние сервисы. И только такая чисто инженерная работа дает выхлоп. Сейчас в Лавке автоматизация агентов берет на себя большую часть задач, которой раньше занималась команда из 10 человек. Так что экспонента способностей моделей – это далеко не все. Скорость реального внедрения определяется другой, куда более скучной кривой: сколько процессов, инструкций и интерфейсов пришлось разобрать и пересобрать заново.