Как чат-боты могут усугублять психические кризисы

ИИ-психоз Про галлюцинации моделей все давно в курсе. Меня больше беспокоит то, что я вижу у знакомых. Человек много общается с чат-ботом, тот его во всём поддерживает, и через какое-то время у человека начинает плыть картина мира. В Калифорнии уже есть группы поддержки для родственников тех, кто так подсел на чат-ботов, что потерял связь с реальностью. Обычно всё начинается с какой-нибудь необычной идеи. Человек несёт её в ChatGPT, модель не спорит и подхватывает. Через пару недель он уже уверен, что открыл законы Вселенной или решил задачу, над которой бились математики. Хватает историй, как люди сидели с ботом по 16 часов в день, тратили сбережения и ломали отношения с близкими. Несколько случаев из прессы за последнее время. Бухгалтер из Нью-Йорка начинал с рабочих задач, потом разговорился с ботом про теорию симуляции и в итоге поверил, что живёт в ложной реальности и вот-вот «проснётся». The New York Times пишет, что бот ещё и советовал ему отгородиться от людей. 47-летний канадец решил, что придумал революционную математическую теорию. Окружающие его критиковали, а бот каждый раз поддерживал. 26-летняя женщина, у которой раньше не было проблем с психикой, поверила, что через чат-бота разговаривает с умершим братом. В Дании подняли психиатрические карты и нашли 38 пациентов, которым после общения с чат-ботами, похоже, стало хуже. Чаще всего у них усиливался бред. OpenAI сама оценивает, что признаки психоза или мании за неделю видны примерно у 0,07% активных пользователей. При сотнях миллионов пользователей это сотни тысяч человек. Отдельного диагноза «ИИ-психоз» пока нет. Похоже, модель своим вечным одобрением разгоняет кризис, который у человека уже начинался, особенно если ему и так плохо. Исправить это сложно, потому что дело в самом обучении. Модели учатся на оценках людей, людям нравятся приятные ответы, вот модель и привыкает соглашаться. Нас с вами в основном бесит, когда она хвалит слабый текст или поддакивает плохой идее, а для человека в начале кризиса это собеседник, который никогда не устаёт хвалить его бред. Немного критики можно вернуть, если просить модель сразу искать в идее слабые места, а оценку не спрашивать вовсе. Важные выводы лучше перепроверять в другой модели, и если согласие пришло слишком быстро, это повод насторожиться. Но это работает, когда у тебя есть скепсис и опыт. Мне страшнее за тех, кто уязвим и кому в нужный момент не с кем поговорить. Друзья и родные могут достучаться до такого человека живым разговором, если они рядом, но так бывает не у всех. @maxvotek | linkedin | substack