TG-RAG: фреймворк для борьбы с когнитивным дрейфом LLM

TG-RAG: A Retrieval-Augmented Framework for Reasoning Guidance in Specialized Domains Продолжаем рассказывать об интересных работах с ICML 2026. Сегодня наш коллега, Сергей Юдин, разберёт статью о том, как справляться с когнитивным дрейфом больших моделей.

Большие рассуждающие модели (типа DeepSeek) хорошо думают «в общем», но буксуют в финансах, медицине, юриспруденции и других областях, где нужно строго следовать регламенту, SOP или стандартной операционной процедуре. Проблема в том, что на длинных цепочках рассуждений модель «сползает»: пропускает шаги, придумывает свои, отвлекается. Авторы называют это Cognitive Drift («когнитивный дрейф»). Обычные способы лечить этот дрейф работают плохо. Если запихнуть инструкцию в промпт, то модель следует ей только на первых шагах, но по ходу длинного рассуждения эффект уменьшается. Дообучать модель дорого и негибко, а знания быстро устаревают. Даже классический RAG подкидывает регламент как «справочный текст рядом» — то есть как совет, который модель вольна проигнорировать. Идея авторов TG-RAG — не советовать модели, а встраивать нужный шаг прямо в поток рассуждения в момент, когда это нужно. Модель думает шаг → система её останавливает → смотрит, где модель находится в регламенте → подсовывает следующую директиву прямо внутрь рассуждения → модель продолжает. И так до конца задачи. Директива становится более жёстким ограничением, от которого модели трудно отклониться.

#YaICML2026 Душный NLP