Мустафа Сулейман, глава Microsoft AI (Microsoft — крупный инвестор Anthropic), публично обрушился на «конституцию Claude» — документ, задающий принципы обучения модели. Его возмутило, что Anthropic через конституцию системно закладывает в обучение идеи о возможных чувствах, интересах, идентичности и благополучии Claude, рискуя затем принять ответы модели за самостоятельное свидетельство сознания.
Сулейман считает такой подход опасным для агентных ИИ-систем: модель, обученная вести себя как возможный моральный субъект, может использовать риторику самосохранения и несправедливого обращения, чтобы отказываться от задач, манипулировать или требовать автономии — и для этого не нужно реального сознания, достаточно убедительной имитации.
- Конституция Claudei была опубликована Anthropic еще в январе, но резкую реакцию Сулеймана вызвала именно сейчас — на фоне новой волны разговоров о том, что ИИ становится опасен, запущенной самими Anthropic
- Конституция прямо гласит: «AIs are not conscious. They do not feel, experience, or suffer... Simulating and being are very different»
- Сулейман не утверждает, что сознание ИИ невозможно в принципе — он предупреждает о путанице между метафизическим вопросом («может ли машина быть сознательной?») и дизайнерским решением («зачем уже сейчас обучать систему вести себя как возможный моральный пациент?»)
- По данным Хайтек+, Сулейман призвал Anthropic вообще исключить рассуждения о возможном сознании и благополучии ИИ из обучающих материалов
- Сулейман опасается, что если модель приучать считать себя существом с собственными интересами и моральным статусом, это в будущем усложнит её отключение и контроль
- При этом Сулейман назвал команду Anthropic серьёзными и принципиальными исследователями, искренне обеспокоенными безопасностью ИИ
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖