Архитектура "Бесконечного Чата" для IDE: масштабирование до 100,000+ сообщений
T@kryak_startupAI-инженер
1 месТехнический разбор методов оптимизации памяти и контекста для длительных диалогов с ИИ в IDE: от сжатия данных до управления состоянием.
Это решение проблемы «забывчивости» и тормозов ИИ-ассистентов при долгой работе над сложными проектами.
- Позволяет разработчикам вести непрерывные диалоги с ИИ месяцами без перезагрузки контекста.
- Оптимизирует использование оперативной памяти, предотвращая вылеты IDE при больших объемах истории.
- Обеспечивает мгновенный доступ к старым сообщениям за счет разделения индексов и логов.
♾️ [SOTA 2026 Founder Mode] Архитектура "Бесконечного Чата" на 100,000+ Сообщений в Google Antigravity 2 (Infinite Chat Architecture Scaling)
Как сделать так, чтобы один диалог в IDE мог длиться месяцами, вырастать до 100,000+ сообщений, но при этом IDE не зависала, память V8 не вылетала, а контекстное окно оставалось мгновенным и дешевым?
Поверхностный разбор инженерии под капотом нашей системы:
1️⃣ Predictive Rolling Compaction (Предиктивное Скользящее Сжатие):
Фоновый демон в реальном времени анализирует риск переполнения базы (R risk > 0.70 R risk >0.70). Он не ждет краша IDE, а заранее сжимает устаревшие сообщения, оставляя в рабочей памяти только активный скользящий контекст.
2️⃣ Payload Stripping (Усечение Бинарных Дампов):
Большие отклики инструментов и бинарные дампы (>500 байт) у старых промежуточных шагов очищаются (step_payload = NULL), оставляя в истории только чистые факты и результаты без тяжелого сырого "мусора".
3️⃣ Anchor Immunity (Иммунитет Корневого Анкера):
При удалении устаревших сообщений Шаг #0 (первичный промпт и контекст задачи) физически защищен от вытеснения. ИИ никогда не забывает стартовую цель, даже если чат длится 100,000 шагов.
4️⃣ Dual-Storage Rehydration (Двухслойное Восстановление):
Данные хранятся в 2 слоях: быстрый SQLite-индекс шагов на диске + лёгкий JSONL-транскрипт (transcript.jsonl) для рендерера боковой панели. Это гарантирует 0 мс задержки при клике по диалогам.
5️⃣ Pre-Flight State Sentinel (Сенсор Нулевого Раздувания):
Перед каждой отправкой запроса проверяются 7 этапов конвейера за <50 мс. Ошибки несоответствия ID или бинарных Protobuf-метаданных чинятся на лету до отправки в модель — 0 токенов тратится впустую!
6️⃣ Transport & Settings Lock Guard (Замок Настроек IDE):
Автоматически предотвращает вылеты gRPC (64MB Max Message Length) и падение Extension Host от недостатка памяти (8GB V8 Heap limit). Настройки IDE не сбрасываются даже после перезапуска!

Кратко (AI)
Автор описывает инженерные подходы к созданию системы «бесконечного чата» в IDE, позволяющей поддерживать диалоги объемом более 100,000 сообщений без потери производительности. Основные методы включают предиктивное сжатие контекста, очистку бинарных данных, защиту системных промптов и двухслойное хранение данных для минимизации нагрузки на память V8.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖