ИИ-психоз Про галлюцинации моделей все давно в курсе. Меня больше беспокоит то, что я вижу у знакомых. Человек много общается с чат-ботом, тот его во всём поддерживает, и через какое-то время у человека начинает плыть картина мира. В Калифорнии уже есть группы поддержки для родственников тех, кто так подсел на чат-ботов, что потерял связь с реальностью. Обычно всё начинается с какой-нибудь необычной идеи. Человек несёт её в ChatGPT, модель не спорит и подхватывает. Через пару недель он уже уверен, что открыл законы Вселенной или решил задачу, над которой бились математики. Хватает историй, как люди сидели с ботом по 16 часов в день, тратили сбережения и ломали отношения с близкими. Несколько случаев из прессы за последнее время. Бухгалтер из Нью-Йорка начинал с рабочих задач, потом разговорился с ботом про теорию симуляции и в итоге поверил, что живёт в ложной реальности и вот-вот «проснётся». The New York Times пишет, что бот ещё и советовал ему отгородиться от людей. 47-летний канадец решил, что придумал революционную математическую теорию. Окружающие его критиковали, а бот каждый раз поддерживал. 26-летняя женщина, у которой раньше не было проблем с психикой, поверила, что через чат-бота разговаривает с умершим братом. В Дании подняли психиатрические карты и нашли 38 пациентов, которым после общения с чат-ботами, похоже, стало хуже. Чаще всего у них усиливался бред. OpenAI сама оценивает, что признаки психоза или мании за неделю видны примерно у 0,07% активных пользователей. При сотнях миллионов пользователей это сотни тысяч человек. Отдельного диагноза «ИИ-психоз» пока нет. Похоже, модель своим вечным одобрением разгоняет кризис, который у человека уже начинался, особенно если ему и так плохо. Исправить это сложно, потому что дело в самом обучении. Модели учатся на оценках людей, людям нравятся приятные ответы, вот модель и привыкает соглашаться. Нас с вами в основном бесит, когда она хвалит слабый текст или поддакивает плохой идее, а для человека в начале кризиса это собеседник, который никогда не устаёт хвалить его бред. Немного критики можно вернуть, если просить модель сразу искать в идее слабые места, а оценку не спрашивать вовсе. Важные выводы лучше перепроверять в другой модели, и если согласие пришло слишком быстро, это повод насторожиться. Но это работает, когда у тебя есть скепсис и опыт. Мне страшнее за тех, кто уязвим и кому в нужный момент не с кем поговорить. Друзья и родные могут достучаться до такого человека живым разговором, если они рядом, но так бывает не у всех. @maxvotek | linkedin | substack

Чтобы LLM не галлюцинировала, нужно дать ей инструменты поиска в интернете (с) любой человек в 24ом году В 26ом – это скорее вредный совет Все чаще при ответе на сложные вопросы я беру большую модель (Astra/Fable) и прошу не использовать поиск в интернете, а подумать самостоятельно Тут есть две причины 1️⃣ В интернете такое большое количество буллщита, особенно в seo-оптимизированных статьях, которые (сюрприз-сюрприз) оказываются в топе поисковой выдачи, что это скорее засирает агенту контекст, чем помогает ему И каждый месяц прогресса только усугубляет ситуацию новыми порциями отборного слопа под видом личных мнений. Уже даже на реддите сложно продираться через это 2️⃣ Первый этап тренировки модели (претрен) – это попытка сжать весь интернет в ограниченное количество параметров модели. И реальные закономерности сжимаются лучше, потому что согласуются друг с другом и описываются более универсальными правилами. А буллщит часто противоречит даже сам себе Короче, если короткая формула третьего закона Ньютона непротиворечиво описывает и предсказывает кучу реальных ситуаций, то скорее всего её важнее запомнить, чем пантеон греческих богов, где на объяснение каждого явления нужен отдельный миф, а предсказательной способности все равно не появляется

Кстати, недавно посмотрел Пантеон – это разъеб (и это не про Грецию, а про наши с вами ИИ приколы)

Вот статья Кости Крестникова, которая показывает этот механизм выучивания согласованных закономерностей. Кстати, одна из немногих из РФ, которую приняли на NeuralPS, респект ——— TL;DR В top-tier моделях скорее всего уже есть нужные знания и скорее всего они уже разложены по полочкам с пониманием, где бред. Для сложных вопросов попробуйте не сбивать модель мусором из поисковика (они все еще слишком цепляются за инфу в контексте)