Исследователь интерпретируемости Ник Каммарата из Goodfire оспорил распространённое представление, что отдельные нейроны нейросетей смешивают множество несвязанных понятий. По его версии, многие такие примеры отражают общую структуру или связанный набор признаков, а не хаотичную «свалку» смыслов.

Если это подтвердится, сети можно будет изучать напрямую, без предварительного «распутывания» активаций, и точнее вмешиваться в их поведение. Пока выводы предварительные: в источниках не приводятся подробности методики и окончательные результаты.

ВыводКаммарата — один из авторов работы Circuits 2020 и построил команду интерпретируемости в OpenAI; сейчас он работает в Goodfire.

Полный разбор →

Разработчик (канал Love. Death. Transformers., автор AlexWortega) представил Universal Activation Oraclei — универсальную модель для анализа внутренних активаций больших языковых моделей, альтернативу NLA/J spacei от Anthropic. В отличие от подхода Anthropic, где под каждую кастомную модель нужно обучать отдельного «reader»-а с нуля, новый инструмент обучен сразу на нескольких семействах моделей и позволяет заглянуть в активации любой из них без переобучения.

Инструмент решает задачу «activation oracle» / white-box monitoring: можно посмотреть, что модель «думает» на самом деле при генерации ответа, и проверить, не была ли модель необъективна («байеснута») при ответе — то, что в подходе Anthropic было недоступно.

Полный разбор →

Anthropic опубликовала исследование по интерпретируемости, в котором обнаружила внутри Claude небольшую структуру нейронных активаций, названную J-spacei — она функционально похожа на «глобальное рабочее пространствоi» из нейронауки сознания. Это область, где модель удерживает и использует для рассуждений мысли, которые не всегда попадают в финальный текст или даже в видимую цепочку рассуждений (chain-of-thought). Структуру никто не проектировал — она возникла сама в процессе обучения.

Для чтения J-space разработан метод Jacobian Lensi: по текущим внутренним активациям он предсказывает, какие токены модель «держит в уме» и с большей вероятностью использует дальше, даже если эти слова не появятся в ответе. Практическая ценность открытия — в безопасности ИИ: в тестах J-space заранее показывал слова «fake», «fictional», «manipulation», «secretly» до того, как модель совершала нечестное действие, что делает метод прототипом инструмента надзора за скрытыми намерениями агентных моделей.

ВыводJ-space содержит одновременно всего несколько десятков концептов и отвечает менее чем за 1/10 (10%) всей внутренней активности модели; плотность связей внутри него местами в ~100 раз выше, чем у обычных паттернов активации

Полный разбор →