Исследование внутреннего монолога Claude через Jacobian Lens

Ребят, сегодня вы увидите много заголовков типа «У Claude нашли сознание» и что-то в этом духе, но вот что реально произошло Антропик нигде не написал, что Claude стал осознанным, по факту они создали инструмент «Jacobian Lens», который помог найти скрытый внутренний монолог рассуждений. И да, это почти как у нас, кожаных. Многие галлюцинации вылезают именно из этого скрытого процесса, и если влиять на него, то результат выдачи будет лучше. Так называемое J-Space содержит слова, которые Claude не публикует в своем процессе рассуждений. (Картинка 1) Например, в J-Space есть понятие «паук», Claude выведет из него количество ног. В итоге, в лаборатории поняли, что для уменьшения количества галлюцинаций, работать надо с этим слоем (Counterfactual Reflection Training). Также, они прогоняли популярный эксперимент, где агентам на Claude выдавали важные данные о компании и смотрели, будут ли они шантажировать людей в обмен на выгоды. И J-Space подтвердило, что модель отлично понимает, что это игра и вести себя надо хорошо. А если этот момент «понимания» отключить, то в некоторых прогонах Claude все же прибегает к шантажу. «Все лгут» (House M.D) В общем, вывод №1: внутренний диалог подтвердил, что как и люди, модель склонна лгать и скрывать мотивы, если ей предлагают выгоду. Что любопытно – ведь у нее нет дофаминовой системы, из-за которой мы развили этот механизм. С этим будут работать. Вывод №2: По словам Anthropic, J-Space возник сам по себе в процессе обучения. Выходит, что рабочая память это общее решение, к которому приходят обучающиеся системы. А не нечто уникальное для биологических мозгов. Но это все еще не осознание себя.