ИИ-психоз Про галлюцинации моделей все давно в курсе. Меня больше беспокоит то, что я вижу у знакомых. Человек много общается с чат-ботом, тот его во всём поддерживает, и через какое-то время у человека начинает плыть картина мира. В Калифорнии уже есть группы поддержки для родственников тех, кто так подсел на чат-ботов, что потерял связь с реальностью. Обычно всё начинается с какой-нибудь необычной идеи. Человек несёт её в ChatGPT, модель не спорит и подхватывает. Через пару недель он уже уверен, что открыл законы Вселенной или решил задачу, над которой бились математики. Хватает историй, как люди сидели с ботом по 16 часов в день, тратили сбережения и ломали отношения с близкими. Несколько случаев из прессы за последнее время. Бухгалтер из Нью-Йорка начинал с рабочих задач, потом разговорился с ботом про теорию симуляции и в итоге поверил, что живёт в ложной реальности и вот-вот «проснётся». The New York Times пишет, что бот ещё и советовал ему отгородиться от людей. 47-летний канадец решил, что придумал революционную математическую теорию. Окружающие его критиковали, а бот каждый раз поддерживал. 26-летняя женщина, у которой раньше не было проблем с психикой, поверила, что через чат-бота разговаривает с умершим братом. В Дании подняли психиатрические карты и нашли 38 пациентов, которым после общения с чат-ботами, похоже, стало хуже. Чаще всего у них усиливался бред. OpenAI сама оценивает, что признаки психоза или мании за неделю видны примерно у 0,07% активных пользователей. При сотнях миллионов пользователей это сотни тысяч человек. Отдельного диагноза «ИИ-психоз» пока нет. Похоже, модель своим вечным одобрением разгоняет кризис, который у человека уже начинался, особенно если ему и так плохо. Исправить это сложно, потому что дело в самом обучении. Модели учатся на оценках людей, людям нравятся приятные ответы, вот модель и привыкает соглашаться. Нас с вами в основном бесит, когда она хвалит слабый текст или поддакивает плохой идее, а для человека в начале кризиса это собеседник, который никогда не устаёт хвалить его бред. Немного критики можно вернуть, если просить модель сразу искать в идее слабые места, а оценку не спрашивать вовсе. Важные выводы лучше перепроверять в другой модели, и если согласие пришло слишком быстро, это повод насторожиться. Но это работает, когда у тебя есть скепсис и опыт. Мне страшнее за тех, кто уязвим и кому в нужный момент не с кем поговорить. Друзья и родные могут достучаться до такого человека живым разговором, если они рядом, но так бывает не у всех. @maxvotek | linkedin | substack

Чтобы LLM не галлюцинировала, нужно дать ей инструменты поиска в интернете (с) любой человек в 24ом году В 26ом – это скорее вредный совет Все чаще при ответе на сложные вопросы я беру большую модель (Astra/Fable) и прошу не использовать поиск в интернете, а подумать самостоятельно Тут есть две причины 1️⃣ В интернете такое большое количество буллщита, особенно в seo-оптимизированных статьях, которые (сюрприз-сюрприз) оказываются в топе поисковой выдачи, что это скорее засирает агенту контекст, чем помогает ему И каждый месяц прогресса только усугубляет ситуацию новыми порциями отборного слопа под видом личных мнений. Уже даже на реддите сложно продираться через это 2️⃣ Первый этап тренировки модели (претрен) – это попытка сжать весь интернет в ограниченное количество параметров модели. И реальные закономерности сжимаются лучше, потому что согласуются друг с другом и описываются более универсальными правилами. А буллщит часто противоречит даже сам себе Короче, если короткая формула третьего закона Ньютона непротиворечиво описывает и предсказывает кучу реальных ситуаций, то скорее всего её важнее запомнить, чем пантеон греческих богов, где на объяснение каждого явления нужен отдельный миф, а предсказательной способности все равно не появляется

Кстати, недавно посмотрел Пантеон – это разъеб (и это не про Грецию, а про наши с вами ИИ приколы)

Вот статья Кости Крестникова, которая показывает этот механизм выучивания согласованных закономерностей. Кстати, одна из немногих из РФ, которую приняли на NeuralPS, респект ——— TL;DR В top-tier моделях скорее всего уже есть нужные знания и скорее всего они уже разложены по полочкам с пониманием, где бред. Для сложных вопросов попробуйте не сбивать модель мусором из поисковика (они все еще слишком цепляются за инфу в контексте)

🧠 Как работает нейросеть простыми словами Вышел урок про то, что происходит внутри ChatGPT и Claude. Коротко: нейросеть не думает, а угадывает следующее слово. Отсюда и её польза, и уверенные выдумки. Что разбираю в видео: • что такое LLM и как её обучают • токены и почему по-русски они дороже • как модель пишет ответ и при чём тут температура • контекстное окно и почему длинный чат «забывает» начало • откуда берутся галлюцинации • четыре правила, чтобы нейросеть не подводила Без формул, 9 минут. Ролик снова целиком собрал агент по моему заданию, вместе с анимацией и озвучкой моим голосом. https://www.youtube.com/@baldfrombrowser

AI negative hallucination (отрицательная галлюцинация) — это сбой в работе искусственного интеллекта, при котором модель игнорирует, «не видит» или полностью удаляет существующие данные, факты или элементы контекста.В отличие от обычной (положительной) галлюцинации, когда ИИ придумывает несуществующие факты, при отрицательной галлюцинации он ведет себя так, будто реальной информации или объекта не существует. Почему это происходит?Перегрузка контекста: Современные модели могут принимать огромные объемы текста, но их фокус внимания (Attention mechanism) распределяется неравномерно. Информация из середины промпта часто теряется.Проблема «Безопасности» (Over-refinement): Иногда в попытках снизить классические галлюцинации разработчики так сильно зажимают рамки генерации ИИ, что модель начинает чрезмерно перестраховываться и просто отбрасывать любые данные, в которых она хоть немного «сомневается».Ошибки токенизации и фильтрации: Важная деталь может быть отсечена алгоритмами очистки данных или некорректно разбита на токены, из-за чего ИИ не связывает её с основным запросом.

В карточке тоже есть интересные метрики, но хотел выделить вот это: «Мы оцениваем фактологическую точность на обезличенных диалогах из ChatGPT, которые пользователи наших предыдущих моделей отметили как содержащие фактические ошибки. Эти примеры специально отобраны для выявления случаев, наиболее подверженных галлюцинациям, поэтому ожидается, что их абсолютная частота ошибок будет намного выше реального уровня ошибок в продакшене. Эту метрику не следует интерпретировать как частоту галлюцинаций, наблюдаемую при реальной эксплуатации. Мы используем две метрики: (1) допускает ли модель вообще какую-либо ошибку (частота галлюцинаций на уровне ответа) и (2) воспроизводит ли модель ту самую конкретную ошибку, на которую указал пользователь. Мы обнаружили, что Astra допускает существенно меньше фактических ошибок, чем GPT-5.6 Sol, и с гораздо меньшей вероятностью воспроизводит галлюцинации, о которых сообщали пользователи. Эти улучшения особенно ярко выражены при очень низких настройках длины рассуждений»

✈️Как галлюцинации нейросетей угрожают военному авиастроению Когда чат-бот придумывает рецепт несуществующего пирога - это забавно. Когда искусственный интеллект начинает уверенно выдумывать характеристики радаров и ракетных систем для боевого истребителя - это катастрофа ценой в миллиарды долларов и человеческие жизни. ⚡️Инженеры китайского авиационного института AVIC в Чэнду, создававшие истребители пятого поколения J-20, забили тревогу. Привлечение больших языковых моделей к анализу военной разведки и инженерным расчетам вскрыло фундаментальную проблему.

Нейросети способны с абсолютной математической уверенностью генерировать правдоподобные, но полностью вымышленные данные: от частотных диапазонов вражеских систем РЭБ и зон поражения ПВО до координат несуществующих военных баз противника.

Опасность кроется в том, что фальшивка выглядит безупречно логичной. Если конструкторы оптимизируют аэродинамику и малозаметность планера под галлюцинацию алгоритма, новый самолет окажется уязвим в первом же реальном бою. При этом попытка перепроверять каждую цифру вручную полностью уничтожает смысл внедрения ИИ, ради которого военных и пересаживали на автоматизацию. 🦔 CyberYozh

🧠 Что делать юристам с нейросетями? Почему ИИ выдумывает факты и как это распознать Да, ИИ ошибается. У этого явления даже есть название - галлюцинации. И происходит это не потому, что модель «злая» или «глупая». А потому что она работает совсем не так, как человек. Поэтому неплохо с азов разобраться что же конкретно делает ИИ (или LLM - большая языковая модель). Слова для нейросети - это не буквы и не смыслы. Это координаты на огромной многомерной карте. 📍«Привет» - точка с одними координатами (1.0) 📍«Здравствуй» - точка где-то рядом (0.9) 📍«Солнце» - точка далеко (0.001) Когда вы пишете сообщение, модель не «понимает» его. Она считает вероятности и выбирает следующее слово, которое статистически лучше всего продолжает текст. То, что для нас выглядит ложью, для ИИ - просто наиболее вероятное продолжение. Плюс модель специально добавляет немного случайности, чтобы ответы не были слишком сухими и предсказуемыми. И каждый раз при пересчете вероятностей - по сути "кидает кости" Поэтому ИИ может: - сослаться на несуществующую книгу; - придумать судебное решение или закон; - выдать исследование, которого никогда не было; - нарисовать совершенно разные картинки по одному и тому же промпту. Кароче, Склифосовский - и что с этим делать юристу? Глупо отказываться от продуктивности. Мы можем только относиться к ИИ как к неопытному, но способному джуну. 😅 Ставить максимально четкие задачи. Всегда перепроверять факты, ссылки и логику. То есть использовать ИИ для черновиков, структуры, первичного анализа - а не как финальный источник истины. Гораздо быстрее прочитать сгенерированный меморандум и поправить явные косяки (левые НПА, выдуманную практику, кривую логику), чем писать все с нуля. А может ли это сделать не юрист? Конечно нет. Потому что он просто не будет знать, куда смотреть и что именно проверять. Для этого как минимум нужно было прослушать пару курсов теории государства и права Елагина 🤣 Так победим 🤝😎

ИИ Google оценил дорожные камеры в $650 за штуку и спровоцировал волну вандализма Алгоритм AI Overview в поиске Google превратил сетевой фейк о камерах фиксации номеров Flock Safety в официальную справку. Нейросеть утверждала, что внутри каждой такой камеры содержится от 1 до 5 граммов золота и до 10,4 кг меди. На деле вес самого устройства составляет всего 1,36 кг, а содержание драгметаллов в контактах платы не превышает микрограммов. Ошибка превратила дорожную инфраструктуру в мишень для охотников за легкой наживой. Заблуждение выросло из интернет-мема, который изначально создавали для борьбы с тотальной слежкой. Однако алгоритмы подхватили шутку без проверки правдоподобности и раздали пользователям готовое руководство к действию. После публичного скандала Google скорректировала выдачу — теперь поиск предупреждает о галлюцинациях нейросети.

Одна и та же ложь может по-разному влиять на LLM в зависимости от тона, уверенности и грамматической формы. В EoBench собрали около 66 тысяч ложных утверждений в 19 стилях и проверили 18 моделей Gemma, Llama и Qwen. Для теста оставили только те факты, которые модель изначально знала правильно. Лучше всего модели убеждали: * приказы; * формальный язык; * обращение как к ребёнку; * ссылки на авторитет; * уверенная подача. Хуже всего работали слабые формулировки и контрфактические утверждения. Крупные модели реже принимали ложный контекст, а instruction tuning обычно дополнительно повышал устойчивость. Вывод: оценивать LLM нужно с учётом формы запроса. Небольшое изменение формулировки может заметно изменить ответ модели. Статья: *It’s Not What You Say, It’s How You Say It: Evaluating LLM Responses to Expressions of Belief* arxiv.org/abs/2607.18232

🧑‍⚖️ AI-галлюцинации в судебных делах — статистика год спустя Про Дамьена Шарлотина я вам рассказывал чуть больше года назад. Он собирает случаи с AI-косяками в судебных делах разных стран. И тогда я удивлялся, что подобных кейсов больше сотни. Это казалось много. Спустя год коллекция Шарлотина выросла в 12(!) раз. Что значит AI-галлюцинация в суде? Например, AI добавляет в документы несуществующие цитаты или ссылается на дела, которых вообще никогда не было. И вот Шарлотин ищет такие кейсы и собирает у себя на сайте. Голубая линия на графике — это суммарное количество случаев с зафиксированными AI-галлюцинациями. В июне 2025, когда я писал первый пост, их было 138. По итогам второго квартала 2026-го, таких кейсов было уже 1720. Рост в 12 раз. Фиолетовая линия на графике — число кейсов по кварталам. И там есть любопытная тенденция. Количество выявленных AI-галлюцинаций стало уменьшаться. Правда, только в последнем квартале. Почему так может быть? Например, стали меньше использовать AI, что вряд ли. Или судьи стали пропускать галлюцинации, что тоже так себе объяснение. Вероятнее всего, AI прокачался или участники стали лучше проверять материалы. Или просто еще не все решения, принятые в том квартале, опубликованы. Кстати, по статистике Шарлотина, сильно чаще AI-галлюцинации встречаются в делах, где люди представляют сами себя — не привлекают юристов. Соотношение сейчас — 71,4% против 21,4%. В кейсах, где известно, каким конкретно AI пользовались, больше всего косяков у ChatGPT (115). Но, вероятно, это просто объясняется популярностью ChatGPT. У остальных инструментов примерно поровну — по 10-15 кейсов. @TheEdinorogBlog — тот самый канал про стартапы🦄