ИИ-психоз
Про галлюцинации моделей все давно в курсе. Меня больше беспокоит то, что я вижу у знакомых.
Человек много общается с чат-ботом, тот его во всём поддерживает, и через какое-то время у человека начинает плыть картина мира.
В Калифорнии уже есть группы
поддержки для родственников тех, кто так подсел на чат-ботов, что потерял связь с реальностью.
Обычно всё начинается с какой-нибудь необычной идеи. Человек несёт её в ChatGPT, модель не спорит и подхватывает.
Через пару недель он уже уверен, что открыл законы Вселенной или решил задачу, над которой бились математики. Хватает историй, как люди сидели с ботом по 16 часов в день, тратили сбережения и ломали отношения с близкими.
Несколько случаев из прессы за последнее время.
Бухгалтер из Нью-Йорка начинал с рабочих задач, потом разговорился с ботом про теорию симуляции и в итоге поверил, что живёт в ложной реальности и вот-вот «проснётся». The New York Times
пишет, что бот ещё и советовал ему отгородиться от людей.
47-летний канадец
решил, что придумал революционную математическую теорию. Окружающие его критиковали, а бот каждый раз поддерживал.
26-летняя женщина, у которой раньше не было проблем с психикой,
поверила, что через чат-бота разговаривает с умершим братом.
В Дании
подняли психиатрические карты и нашли 38 пациентов, которым после общения с чат-ботами, похоже, стало хуже. Чаще всего у них усиливался бред.
OpenAI сама
оценивает, что признаки психоза или мании за неделю видны примерно у 0,07% активных пользователей. При сотнях миллионов пользователей это сотни тысяч человек.
Отдельного диагноза «ИИ-психоз» пока нет. Похоже, модель своим вечным одобрением разгоняет кризис, который у человека уже начинался, особенно если ему и так плохо.
Исправить это сложно, потому что дело в самом обучении. Модели учатся на оценках людей, людям нравятся приятные ответы, вот модель и привыкает соглашаться.
Нас с вами в основном бесит, когда она хвалит слабый текст или поддакивает плохой идее, а для человека в начале кризиса это собеседник, который никогда не устаёт хвалить его бред.
Немного критики можно вернуть, если просить модель сразу искать в идее слабые места, а оценку не спрашивать вовсе. Важные выводы лучше перепроверять в другой модели, и если согласие пришло слишком быстро, это повод насторожиться.
Но это работает, когда у тебя есть скепсис и опыт. Мне страшнее за тех, кто уязвим и кому в нужный момент не с кем поговорить.
Друзья и родные могут достучаться до такого человека живым разговором, если они рядом, но так бывает не у всех.
@maxvotek |
linkedin |
substack