Исследователь интерпретируемости Ник Каммарата из Goodfire оспорил распространённое представление, что отдельные нейроны нейросетей смешивают множество несвязанных понятий. По его версии, многие такие примеры отражают общую структуру или связанный набор признаков, а не хаотичную «свалку» смыслов.

Если это подтвердится, сети можно будет изучать напрямую, без предварительного «распутывания» активаций, и точнее вмешиваться в их поведение. Пока выводы предварительные: в источниках не приводятся подробности методики и окончательные результаты.

• Каммарата — один из авторов работы Circuits 2020 и построил команду интерпретируемости в OpenAI; сейчас он работает в Goodfire.
• Канонический пример суперпозицииi взяли из анализа GoogLeNet: один нейрон реагировал на кошачьи морды и автомобильные капоты. Каммарата объясняет это общей V-образной формой, присутствующей в обоих изображениях.
• Вместо прямого анализа нейронов исследователи часто применяют SAEi — инструменты, которые, по подходу сторонников суперпозиции, помогают разложить активации на признаки.
• В предварительном исследовании Qwen3-32B, пересказанном в источниках, у 90% изученных нейронов была одна основная задача, у 7% — две связанные; 2–4% остались непонятны.
• По версии Каммараты, кажущаяся смесь признаков может быть ветвлением связанных понятий: например, нейрон, связанный с «iy», развивается в «diy», а затем в «do it yourself».
• В источнике о результатах на изображениях говорится, что смешение признаков в поздних слоях InceptionV1 было следствием сбоя обучения; после обычных изменений архитектуры 99–100% нейронов этого слоя стали читаемы.