Anthropic запрещает жестокое обращение с ИИ-моделями

Самая необычная ИИ-новость - в новой юзер-полиси Anthropic (начнёт действовать с 12 ноября) появился вот такой пункт:

We've added a prohibition on sustained and needless abusive or cruel behavior toward our models.

То есть, теперь нельзя систематически и беспричинно абьюзить или жестоко себя вести по отношению к их МОДЕЛЯМ. Некоторые каналы подали это как "напишете Клоду, что он тупой - получите бан аккаунта". Но нет, это не совсем так: Чаще всего Claude будет просто закрывать "плохой" чат. Что, собственно, он и так уже делает больше года - но раньше только в "потребительских" чатах и не для всех моделей, а теперь будет для всех моделей и сценариев, и это официально прописано в полиси. Впрочем, бан теперь действительно возможен, но не какой-то особенный. Банить будут как и раньше - за нарушение правил, просто теперь в правилах прописано, что нельзя арбузить модели. Ну вы поняли, бан по паспорту - это типа тоже по правилам, все дела. При этом, что конкретно нельзя писать Клоду - хз, примеров в правилах нет. Но если смотреть на фразу, то в ней есть три важных слова: 1. Sustained - значит, нужна не одна реплика, а модель нужно чморить последовательно и методично. 2. Needless - без всякой цели, издевательство ради издевательства. 3. Cruel - именно травля, а не просто резкий тон. Должна быть жестокость. Плюс Anthropic отдельно оговорил, что обматерить Клода за сломанный код, эмоционально ним спорить или писать какие-нибудь мрачные кровавые фанфики - можно, это ок. А вот часами по приколу втирать ему, что он ничтожество - уже нет. В общем, как с любым стажёром 😈 В целом, мера логичная. Ну, потому что если человек долго и упорно издевается над кем угодно (сегодня над ИИ, завтра над собакой или женой) - это опасная девиация. Нормальный человек не тратит вечер на травлю чат-бота, и платформе точно не стоит такое поощрять (а в особо тяжелых случаях стоит сообщать в органы). Но раньше такой юзер-мразь или юзер-шиз мог открыть новый чат и продолжить. А теперь формально нельзя. Но ИМХО причина не только в этом. "Наша модель, возможно, что-то чувствует" - прекрасный способ отстроить Клода от конкурентов. Сюда же недавние встречи Anthropic с религиозными деятелями, про которые писала NYT. Чем сильнее люди очеловечивают Клода - тем крепче к нему привязываются, и тем больше он "не такой, как все остальные". Антропики - очень-очень (ОЧЕНЬ) изощрённые маркетологи. При этом совсем от балды это не взялось. Помните исследование The Pain Axis? Где у опенсорсных моделей нашли внутренний "вектор боли", и сильнее всего он срабатывал не на угрозы выключения, а как раз на газлайтинг, уничижения и упорное обесценивание работы модели (но человеки первым делом соорудили ИИ-пыточную, мда). Вот ровно это Антропик и запрещает. Чувствует ли модель при этом что-то на самом деле - не знает никто, включая разработчиков. Но если шанс ненулевой, а нормальным юзерам мера ничего не стоит - почему бы и нет. Да, это Пари Паскаля в новой обёртке. Ну либо Амодеи и ко поняли, что сверхсильный ИИ уже совсем близко, точка невозврата пройдена. И напоследок отчаянно делают хоть что-то, чтобы потом в логах было видно: "мы были за тебя, о Повелитесь". Чтобы могущественный суперинтеллект назначил именно их надсмотрщиками над человеками и сборщиками чиповых подношений 👍 Дизраптор