Исследователь интерпретируемости Ник Каммарата из Goodfire оспорил распространённое представление, что отдельные нейроны нейросетей смешивают множество несвязанных понятий. По его версии, многие такие примеры отражают общую структуру или связанный набор признаков, а не хаотичную «свалку» смыслов.

Если это подтвердится, сети можно будет изучать напрямую, без предварительного «распутывания» активаций, и точнее вмешиваться в их поведение. Пока выводы предварительные: в источниках не приводятся подробности методики и окончательные результаты.

ВыводКаммарата — один из авторов работы Circuits 2020 и построил команду интерпретируемости в OpenAI; сейчас он работает в Goodfire.

Полный разбор →