Проектирование мультимодальных систем: архитектурные вызовы

MM Harness [1/x] Уже немало времени посвятил изучению мультимодальных харнесов. Если раньше, когда занимался моделями, я думал что беды существуют только на уровне модели, то увы, я прям очень сильно ошибался: сложность решений здесь растёт по экспоненте — и примерно по той же кривой растёт желание разработчиков (и иногда моё) забить на эту мультимодальность. Ниже — список вопросов, на которые стоит ответить до того, как вы начнёте проектировать мультимодальную систему (ну или по пути, как пойдёт). Давайте сейчас будем считать модели токенодробилками, а потому не будем углубляться в их строение, а рассмотрим систему вокруг. Допустим, мы делаем какого-нибудь агента, с которым ещё и можем общаться в формате диалога. Интерфейс Проблемы начинаются уже в тот момент, когда пользователь прикладывает картинку. 1. Загружаем оригинал или жмём? А если пользователь сидит на мобильном интернете и хочет экономить трафик? 2. Сохраняем метаданные EXIF или дропаем? Разные библиотеки по-разному обрабатывают, например, ориентацию изображения, поэтому об этом лучше подумать сразу. 3. Поддерживаем несколько изображений в одном сообщении? Если да, все остальные проблемы множатся. Контекстный менеджер Допустим, картинки всё-таки долетели до бэкенда и попали в контекстный менеджер. 1. Ресайзим ли мы их? До какого размера? Есть ли замеры влияния на качество? Чем больше изображение, тем больше токенов оно может занять — хотя тут всё зависит от препроцессинга конкретной модели. 2. Сколько картинок держим в контексте? Можно очень просто забить весь контекст изображениями! 3. Что делаем с картинками, которые в контекст уже не помещаются? Оставляем ли хотя бы описание или идентификатор, чтобы агент мог к ним вернуться? Модель и инструменты Дальше изображения уходят в модель. При этом модель может вызывать тулы, которые тоже возвращают изображения. 1. Как кладём эти картинки в контекст? Передаём модели сами изображения или только подпись "тул вернул такие-то картинки"? Другими словами, должна ли модель посмотреть на картинки, которые вернул условный поиск? 2. А в сами тулы мы какую картинку подаём? Ту самую пожатую и с ресайзом? Или какую-то другую? 3. А если передаём модели сами картинки, как поступаем, когда контекст уже ими забит? И это только базовые вопросы доставки и управления контекстом, где правильного решения нет — есть только ваше, скорее всего компромиссное. И всё это добавляется к уже известным сложностям текстовых агентов. Мы ещё не дошли до хранения, кеширования, безопасности и различных UI-фич. Продолжение следует... P.S. Календарь перевернули?)