Catastrophic remembering: проблема разрастания системных промптов
M@machinelearning_interviewAI-инженер
2 недИсследователи выявили проблему «catastrophic remembering» в AI-кодинге: системные промпты бесконтрольно растут из-за накопления устаревших инструкций.
Это исследование предлагает способ сделать AI-агентов более эффективными и управляемыми.
- Помогает избежать «замусоривания» системных промптов устаревшими правилами.
- Повышает предсказуемость поведения AI-агентов при написании кода.
- Предлагает простую методологию документирования инструкций для разработчиков.
Новый термин из мира AI-кодинга - «catastrophic remembering».
Исследователи изучили 1 867 GitHub-репозиториев и заметили проблему: файлы вроде CLAUDE.md со временем только разрастаются. Количество инструкций в среднем выросло на 226%, а старые правила удалялись всё реже.
Проблема в том, что агент продолжает помнить правило, когда разработчики уже забыли, зачем оно вообще появилось.
Получается своеобразная «трещотка»: после каждого бага в промпт добавляется новое ограничение, но почти никто потом не возвращается проверить, актуально ли оно.
Авторы предлагают простой фикс из обычной разработки: рядом с каждой инструкцией хранить скрытый от модели комментарий с причиной её появления - какой был сбой, гипотеза и чем всё закончилось.
В эксперименте это почти полностью остановило раздувание промпта: вместо +211,3% размер вырос всего на 1,4%, при той же точности выполнения ограничений.
Paper: “Why Does CLAUDE.md Keep Growing? Catastrophic Remembering in Agentic Coding”
https://arxiv.org/abs/2608.11095
Кратко (AI)
Исследователи обнаружили, что системные файлы инструкций для AI-агентов, такие как CLAUDE.md, бесконтрольно разрастаются из-за накопления неактуальных правил. Предложенный метод добавления комментариев с обоснованием каждой инструкции к коду позволил снизить рост промптов с 211,3% до 1,4% без потери качества работы.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖