Исследователи предложили метод Declarative Attentioni (DA), позволяющий языковой модели самой решать, какую часть длинного контекста учитывать при генерации ответа — без обучаемых селекторов и дополнительной тренировки. Модель размечает свои действия специальными хэштегами трёх типов внимания, а инференс ускоряется за счёт блочно-разреженной маски в vLLMi.

Это важно, потому что full attention остаётся дорогим местом в современных LLM даже на фоне более дешёвых GDN, SSM и скользящего окна, а существующие решения (в DeepSeek, MiniMax, Qwen) требуют обучаемых механизмов выбора токенов. DA показывает, что модель может справляться с этой задачей декларативно — просто указывая, куда смотреть.

• Задача подаётся модели в формате: системная инструкция → чанкированный контекст → вопрос → инструкция по использованию Declarative Attention.
• Определены три типа внимания с хэштегами: <global> (весь контекст), <focus> (только нужный чанк) и <local> (только последние сгенерированные токены).
• Контекст режется на чанки, стремясь к размеру ~2048 токенов, по логическим границам (раздел/абзац/предложение); границы чанков размечаются хэштегами, непохожими на оригинальные секции текста.
• Для эффективного инференса используется vLLM с блочно-разреженной маской; размеры чанков паддятся до 16/32 токенов под ограничения по размерам блоков.
• Метод валидируют на моделях Gemma-4 и Qwen-3.5/3.6 на задачах Needle-in-a-Haystack из RULER, а также LongBench-v1 и LongBench-v2.
• В ablation тестируют версию с тем же форматом промпта и чанкированием, но без блочно-разреженной маски.
• На крупных моделях просадка качества составляет 1–3%, но статистически значима; авторы связывают её с разреженностью внимания, а не с форматом промпта — при этом вставки хэштегов заметно увеличивают среднюю длину ответа.