Исследователь усомнился в полисемантичности нейронов
з@ctodailyAI-инженер
1 недИсследователь предположил, что нейроны отвечают за отдельные концепты, а не за несвязанные понятия, что может упростить понимание и контроль нейросетей.
Если нейроны отвечают за отдельные понятия, внутренние процессы нейросетей может быть проще понимать и контролировать.
- Это ставит под сомнение распространённую гипотезу о том, что один нейрон кодирует несколько несвязанных понятий.
- Возможность отключать конкретные нежелательные поведения пока представлена как предположение, а не как подтверждённый результат.
Есть две основных гипотезы, как нейросети сжимают и хранят информацию:
1. Каждый нейрон отвечает за какой-то концепт: например, отдельный нейрон для кошек, отдельный для собак.
2. Нейроны отвечают за несвязанные концепты: например, один нейрон для кошек и цифр и другой нейрон для собак и цветов. Это гипотеза полисемантичности, и она сейчас основная. Отчасти поэтому эксперты боятся, что нейросети слетят с катушек и устроят скайнет, а мы и не заметим, пока не станет слишком поздно.
Вчера один из главных исследователей в этой области написал, что ему кажется, что мы ошибались и верна первая гипотеза и реально «понять» нейросеть и надежно управлять ее поведением. Условно, выключить нейрон, который отвечает за «вранье в собственных интересах».
Такие вот хорошие новости.
Первоисточник — статья в 20 тысяч слов с множеством интерактивных иллюстраций, и ей отчаянно не хватает редактуры.
Кратко (AI)
В посте описаны две гипотезы о том, как нейросети хранят информацию: нейроны могут отвечать за отдельные концепты или сочетать несвязанные понятия. По словам автора поста, один из ведущих исследователей усомнился во второй гипотезе и предположил, что нейросети можно лучше понимать и контролировать.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖