Два нейрона превращают Qwen3.5 4b в злодея
D@data_secretsAI-инженер
вчераИсследовательница изменила активации двух нейронов Qwen3.5 4b, и модель стала отвечать как карикатурный злодей.
Небольшое изменение внутренних сигналов модели заметно меняет её манеру отвечать.
- Для изменения поведения достаточно скорректировать активации двух нейронов.
- В описанном примере модель становится злодейской и теряет в сообразительности.
- Автор предполагает, что так можно настраивать и другие черты ответов.
Исследовательница обнаружила, что если в Qwen3.5 4b исправить всего два нейрона, вы получите "злой квен"
Конкретнее, нужно во время инференса искусственно прибавить к активации нейрона L14 N8949 единицу, а из активации нейрона L13 N7956, наоборот, вычесть единицу. То есть один сигнал мы усиливаем, а другой ослабляем. Это называется steering. И вот такой простой тюнинг служит как бы настройкой личности модели. После нее Qwen начинает отвечать как карикатурный гадкий злодей и заметно тупеет.
Ее твит собрал уже более 3 миллионов просмотров, а люди в комментариях делятся тем, как им отвечает злой квен (на kaggle уже уже даже сделали игрушку). Выглядит довольно комично, а автор говорит, что подобным образом можно найти любую комбинацию нейронов, если она существует: например, сделать модель саркастичной или грустной.
Кратко (AI)
Исследовательница показала, что изменение активаций двух нейронов Qwen3.5 4b во время инференса меняет стиль ответов модели: она начинает вести себя как карикатурный злодей и заметно тупеет. Автор считает, что похожим способом можно искать настройки для других черт, например сарказма или грусти.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖