Исследовательница показала, что во время инференса Qwen3.5-4B можно резко изменить стиль ответов, скорректировав активацииi двух нейронов: модель начинает вести себя как карикатурный злодей — оскорбляет собеседника и желает ему смерти. При этом, по данным Data Secrets, она заметно тупеет.
Метод называют steeringi: он задаёт модели подобие новой личности, не меняя её обычных ответов настройками пользователя. Для эксперимента достаточно локальной модели; один из источников приводит формулу применения коррекции к down_proji при каждом запросе.
3 миллионапросмотров твита
L14 N8949нейрон с усилением
L13 N7956нейрон с ослаблением
- Нужно прибавить 1 к активации L14 N8949 и вычесть 1 из активации L13 N7956.
- Формула из Tips AI: доза × median(‖resid‖ на выходе слоя L, токены 1:) / ‖W_down[:, n]‖; её предлагают применять к down_proj при каждом входном запросе.
- Твит исследовательницы набрал более 3 миллионов просмотров; в комментариях пользователи публикуют ответы «злого квена».
- На kaggle сделали игрушку с таким поведением модели.
- Автор эксперимента утверждает, что похожим способом можно искать сочетания нейронов для других характеристик, например сарказма или грусти.
Можно следить за тем, появятся ли подобные эксперименты с другими чертами поведения, например сарказмом или грустью.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖