← к ленте

Архитектура "Бесконечного Чата" для IDE: масштабирование до 100,000+ сообщений

T@kryak_startupAI-инженер
1 мес

Технический разбор методов оптимизации памяти и контекста для длительных диалогов с ИИ в IDE: от сжатия данных до управления состоянием.

Это решение проблемы «забывчивости» и тормозов ИИ-ассистентов при долгой работе над сложными проектами.

  • Позволяет разработчикам вести непрерывные диалоги с ИИ месяцами без перезагрузки контекста.
  • Оптимизирует использование оперативной памяти, предотвращая вылеты IDE при больших объемах истории.
  • Обеспечивает мгновенный доступ к старым сообщениям за счет разделения индексов и логов.
♾️ [SOTA 2026 Founder Mode] Архитектура "Бесконечного Чата" на 100,000+ Сообщений в Google Antigravity 2 (Infinite Chat Architecture Scaling) Как сделать так, чтобы один диалог в IDE мог длиться месяцами, вырастать до 100,000+ сообщений, но при этом IDE не зависала, память V8 не вылетала, а контекстное окно оставалось мгновенным и дешевым? Поверхностный разбор инженерии под капотом нашей системы: 1️⃣ Predictive Rolling Compaction (Предиктивное Скользящее Сжатие): Фоновый демон в реальном времени анализирует риск переполнения базы (R risk > 0.70 R risk >0.70). Он не ждет краша IDE, а заранее сжимает устаревшие сообщения, оставляя в рабочей памяти только активный скользящий контекст. 2️⃣ Payload Stripping (Усечение Бинарных Дампов): Большие отклики инструментов и бинарные дампы (>500 байт) у старых промежуточных шагов очищаются (step_payload = NULL), оставляя в истории только чистые факты и результаты без тяжелого сырого "мусора". 3️⃣ Anchor Immunity (Иммунитет Корневого Анкера): При удалении устаревших сообщений Шаг #0 (первичный промпт и контекст задачи) физически защищен от вытеснения. ИИ никогда не забывает стартовую цель, даже если чат длится 100,000 шагов. 4️⃣ Dual-Storage Rehydration (Двухслойное Восстановление): Данные хранятся в 2 слоях: быстрый SQLite-индекс шагов на диске + лёгкий JSONL-транскрипт (transcript.jsonl) для рендерера боковой панели. Это гарантирует 0 мс задержки при клике по диалогам. 5️⃣ Pre-Flight State Sentinel (Сенсор Нулевого Раздувания): Перед каждой отправкой запроса проверяются 7 этапов конвейера за <50 мс. Ошибки несоответствия ID или бинарных Protobuf-метаданных чинятся на лету до отправки в модель — 0 токенов тратится впустую! 6️⃣ Transport & Settings Lock Guard (Замок Настроек IDE): Автоматически предотвращает вылеты gRPC (64MB Max Message Length) и падение Extension Host от недостатка памяти (8GB V8 Heap limit). Настройки IDE не сбрасываются даже после перезапуска!
Архитектура "Бесконечного Чата" для IDE: масштабирование до 100,000+ сообщений

Кратко (AI)

Автор описывает инженерные подходы к созданию системы «бесконечного чата» в IDE, позволяющей поддерживать диалоги объемом более 100,000 сообщений без потери производительности. Основные методы включают предиктивное сжатие контекста, очистку бинарных данных, защиту системных промптов и двухслойное хранение данных для минимизации нагрузки на память V8.

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖