Anthropic опубликовала исследование по интерпретируемости, в котором обнаружила внутри Claude небольшую структуру нейронных активаций, названную J-spacei — она функционально похожа на «глобальное рабочее пространствоi» из нейронауки сознания. Это область, где модель удерживает и использует для рассуждений мысли, которые не всегда попадают в финальный текст или даже в видимую цепочку рассуждений (chain-of-thought). Структуру никто не проектировал — она возникла сама в процессе обучения.
Для чтения J-space разработан метод Jacobian Lensi: по текущим внутренним активациям он предсказывает, какие токены модель «держит в уме» и с большей вероятностью использует дальше, даже если эти слова не появятся в ответе. Практическая ценность открытия — в безопасности ИИ: в тестах J-space заранее показывал слова «fake», «fictional», «manipulation», «secretly» до того, как модель совершала нечестное действие, что делает метод прототипом инструмента надзора за скрытыми намерениями агентных моделей.
ВыводJ-space содержит одновременно всего несколько десятков концептов и отвечает менее чем за 1/10 (10%) всей внутренней активности модели; плотность связей внутри него местами в ~100 раз выше, чем у обычных паттернов активации
менее 10%доля активности модели, приходящаяся на J-space
~100 разво сколько выше плотность связей в J-space
8 → 6изменение ответа о числе ног при замене «spider» на «ant»
Полный разбор →