Исследователи обнаружили уязвимость в цепочках рассуждений ИИ-моделей

Группа исследователей из MATS, ELLIS Institute Tübingen, Института интеллектуальных систем Макса Планка и других организаций показала, что зашифрованные блоки цепочек размышлений, которые Anthropic, OpenAI и Google возвращают клиенту, переносимы: их можно подставить в другую сессию, другому пользователю и даже другой модели того же поставщика. Атака состоит из двух вызовов API — трасса сильной модели внедряется в слабую «родственную» модель, которую предварительно взламывают промптом, и та дословно расшифровывает скрытые рассуждения, при этом сильная модель не атакуется напрямую и её защита от дистилляции не срабатывает. Применив конвейер к 6 708 публично доступным журналам работы агентов с GitHub и Hugging Face, авторы восстановили 315 320 блоков размышлений и обнаружили 704 отдельных приватных артефакта: 62 ключа API, 33 пароля, 24 токена доступа, 30 личных адресов почты, причём 64 из них не встречались в видимой части сессии вообще. В отличие от большого количества подобных исследований, речь не идет о моделях типа GPT-4o — в первом же примере claude-haiku-4-5 используется для взлома claude-opus-4-8. Иронично выглядит пример с Kimi K3 — модели вставили начало цепочки рассуждений (1%) Opus 4.8 и та, не зная ответа, начала довольно точно его воспроизводить. Что даже, возможно, не нарушает утверждение про "модели одного производителя". https://www.wired.com/story/a-new-trick-reveals-ai-models-inner-thoughts/