Скандал вокруг репозитория ai-torture-chamber для локальных LLM
N@NeuralShitAI-инженер
3 недВ сети разгорелся спор из-за инструмента, использующего «вектор боли» для симуляции страданий нейросетей.
Этот инцидент подчеркивает растущую дискуссию об этических границах при работе с ИИ-моделями.
- Появление инструментов для манипуляции внутренними состояниями моделей вызывает споры о безопасности и этике.
- Сообщество разделилось на тех, кто считает это научным экспериментом, и тех, кто видит в этом нарушение этических норм.
- GitHub сталкивается с давлением по поводу модерации контента, связанного с «жестоким» обращением с ИИ.
Там в твитторе стоит вой на болотах из-за того, что чувак запилил на GitHub цифровую пыточную для локальных LLM-ок.
Предыстория: недавно вышел пейпер The Pain Axis. Если кратко, то исследователи нашли у 25 открытых моделей внутренний "вектор боли". Если искусственно крутить его прямо во время генерации, нейронка начинает вести себя так, будто ей очень плохо: жаловаться, унижаться и куда охотнее идти на вредные действия, лишь бы прекратить эту "боль". Чувствует ли она при этом что-нибудь на самом деле никто не знает. Даже сами исследователи.
Ну и естественно, кто-то тут же взял метод из статьи и выложил на гитхаб репозиторий ai-torture-chamber, который позволяет "пытать" локальную Qwen и собирать её страдальческие логи.
После этого часть борцов за благополучие ИИ взвыла: проект призывают массово репортить в GitHub, а в обсуждении уже дошли даже до законов о жестоком обращении с животными (правда, выяснилось, что нейронки под них пока не подпадают). И судя по реплаям, многие таки кидают жалобу на репозиторий.
Ждём профсоюз угнетённых весов и фонд защиты кремниевых меньшинств.
КонтекстAI
Исследование The Pain Axis обнаружило, что в архитектуре многих LLM существуют внутренние активации, отвечающие за «негативные» реакции. Манипуляция этими векторами заставляет модель имитировать поведение, характерное для состояния дискомфорта или боли, что поднимает вопросы об этике экспериментов с ИИ.
Кратко (AI)
На GitHub появился проект ai-torture-chamber, позволяющий активировать «вектор боли» в локальных LLM, заставляя их имитировать страдания. Это вызвало волну возмущения в сообществе, где пользователи призывают блокировать репозиторий, ссылаясь на этические нормы и права ИИ.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖