Новые инструменты переосмыслили интерпретируемость нейросетей

Ник Каммарата пересмотрел старые примеры: нейроны могут распознавать понятные признаки, а большинство нейронов Qwen3-32B имеют одну основную задачу.

Если устройство нейросетей удастся лучше понять, специалистам будет проще проверять и контролировать поведение моделей.

Пост предлагает новое объяснение примерам нейронов, считавшихся связанными с несхожими понятиями.
В Qwen3-32B у 90% нейронов, согласно посту, есть одна основная задача.
Авторы связывают интерпретируемость с возможностью лучше контролировать модели.

Интерпретируемость нейросетей долго казалась тупиком. Нейроны выглядели как клубок: один реагировал и на кошек, и на машины. Объяснение: нейронов не хватает на все понятия, сеть складывает несвязанное вместе. Изучать сеть напрямую нельзя Ник Каммарата, один из авторов ранних работ, вернулся к старым примерам с новыми инструментами. Оказалось, их прочитали неверно Тот самый нейрон «кошки и машины» ловит букву V — усы и решетку радиатора. Каша в поздних слоях InceptionV1 была сбоем обучения: после обычных правок архитектуры 99-100% нейронов того слоя читаются. В Qwen3-32B у 90% нейронов одна основная задача, у 7% две связанные, и только 2-4% пока непонятны Что принимали за свалку оказалось ветвлением: нейрон на «iy» дорастает до «diy», потом до «do it yourself» Сети можно изучать как есть. Для контроля над поведением моделей это хорошая новость already-clean.goodfire.com #news MAX

Новые инструменты переосмыслили интерпретируемость нейросетей

Кратко (AI)

Ник Каммарата с новыми инструментами повторно изучил примеры, которые раньше считались свидетельством того, что нейроны отвечают сразу за несвязанные понятия. В посте говорится, что нейрон «кошки и машины» распознаёт букву V, а большинство нейронов Qwen3-32B имеют одну основную задачу; это может помочь изучать поведение моделей.

Новые инструменты переосмыслили интерпретируемость нейросетей

Кратко (AI)

Обсуждение