ИИ-психоз Про галлюцинации моделей все давно в курсе. Меня больше беспокоит то, что я вижу у знакомых. Человек много общается с чат-ботом, тот его во всём поддерживает, и через какое-то время у человека начинает плыть картина мира. В Калифорнии уже есть группы поддержки для родственников тех, кто так подсел на чат-ботов, что потерял связь с реальностью. Обычно всё начинается с какой-нибудь необычной идеи. Человек несёт её в ChatGPT, модель не спорит и подхватывает. Через пару недель он уже уверен, что открыл законы Вселенной или решил задачу, над которой бились математики. Хватает историй, как люди сидели с ботом по 16 часов в день, тратили сбережения и ломали отношения с близкими. Несколько случаев из прессы за последнее время. Бухгалтер из Нью-Йорка начинал с рабочих задач, потом разговорился с ботом про теорию симуляции и в итоге поверил, что живёт в ложной реальности и вот-вот «проснётся». The New York Times пишет, что бот ещё и советовал ему отгородиться от людей. 47-летний канадец решил, что придумал революционную математическую теорию. Окружающие его критиковали, а бот каждый раз поддерживал. 26-летняя женщина, у которой раньше не было проблем с психикой, поверила, что через чат-бота разговаривает с умершим братом. В Дании подняли психиатрические карты и нашли 38 пациентов, которым после общения с чат-ботами, похоже, стало хуже. Чаще всего у них усиливался бред. OpenAI сама оценивает, что признаки психоза или мании за неделю видны примерно у 0,07% активных пользователей. При сотнях миллионов пользователей это сотни тысяч человек. Отдельного диагноза «ИИ-психоз» пока нет. Похоже, модель своим вечным одобрением разгоняет кризис, который у человека уже начинался, особенно если ему и так плохо. Исправить это сложно, потому что дело в самом обучении. Модели учатся на оценках людей, людям нравятся приятные ответы, вот модель и привыкает соглашаться. Нас с вами в основном бесит, когда она хвалит слабый текст или поддакивает плохой идее, а для человека в начале кризиса это собеседник, который никогда не устаёт хвалить его бред. Немного критики можно вернуть, если просить модель сразу искать в идее слабые места, а оценку не спрашивать вовсе. Важные выводы лучше перепроверять в другой модели, и если согласие пришло слишком быстро, это повод насторожиться. Но это работает, когда у тебя есть скепсис и опыт. Мне страшнее за тех, кто уязвим и кому в нужный момент не с кем поговорить. Друзья и родные могут достучаться до такого человека живым разговором, если они рядом, но так бывает не у всех. @maxvotek | linkedin | substack

Наконец-то нормальные законы: власти Нью-Йорка хотят штрафовать компании за бесячих чат-ботов, которые маринуют людей в бесконечных кругах ада поддержки клиентов. Если правила примут, компании будут обязаны сразу предупреждать, что с вами говорит бот, и предоставлять простой и быстрый способ переключиться на живого человека-оператора. А если вдруг бот несёт ерунду, компания не сможет оправдаться тем, что это всё нейросеть нагаллюцинировала и виновата. За нарушения предусмотрены штрафы до 3500 баксов. Самое весёлое, что власти официально называют вот эти бесконечные переписки с ботами doom loops (петли безысходности) тут подробнее

AI-агенты для сайта: 15 рабочих примеров для чего можно их подключить Представьте, что ваш сайт умеет самостоятельно разбирать обращения клиентов, находить нужные документы, проверять заявки, помогать посетителям с выбором товара и передавать задачи другим сервисам. При этом сотрудникам не приходится вручную обрабатывать каждое сообщение, а посетителям не нужно пробираться через десятки страниц в поисках нужного ответа. Обычный чат-бот для такого не подходит, потому что он работает по заранее заготовленным сценариям. Шаг влево, шаг вправо и ответ получается однотипным. Именно для таких задач можно подключать AI-агентов — программных помощников, которые используют нейросети, анализируют контекст, обращаются к доступным инструментам и выполняют определённые действия в рамках заданных правил. В статье представлено 15 примеров ситуаций, где AI-агент будет полезен вам: 🔗 Читать статью

Утренняя разминка для кожаного и силиконового мозга Интересно, что я сразу решил задачу буквально через 2 секунды, причем способом, отличающимся от банального 949. Потом я забросил эту картинку в ChatGPT, и SOL 6 сразу мне предложил банальное 949, на что я предложил ему найти другое решение. Он предложил довольно дурацкое некорректное решение и сдулся. И только после того, как я поорал на него, какой он дебил и пусть соберет все свои мозги в кулак, он подумал еще минуту и выдал мое решение. Всё как у людей: не поорёшь — не получишь результата. Моё решение вот тут: 9116 Но вы не открывайте его сразу. Подумайте немножко. Как SOL. @cgevent

Есть особый вид клиентского сервиса, который раздражает меня иногда даже больше, чем отсутствие ответа. Это когда ты пишешь вопрос, дальше чат-бот выводит абсолютно нерелевантный ответ ("ну потому что там так настроено"). Хочется спросить: вы вообще прочитали, что я написала? Я сообщила системе два факта: 1. Функция у меня заблокирована. 2. Тариф у меня уже есть — Стандарт. Следующий ответ должен был строиться на этих двух фактах. Например: «Понял. На тарифе Стандарт создание счетов обычно доступно. Давайте проверим, почему оно заблокировано именно у вас». Но вместо этого система как будто обнуляет контекст и начинает объяснять мне, какие вообще существуют тарифы. Я спросила: почему не работает функция? Мне ответили: у нас есть тарифы. Формально это слова по теме. Семантически рядом! И именно поэтому так раздражают чат боты! Кстати такой ответ раздражает сильнее, чем «я не знаю». Потому что при «я не знаю» система признаёт ограничение. Поэтому самая большая ошибка интерфейсов поддержки - думать, что их задача выдать пользователю текст!! Поэтому типичное «ПОЗОВИТЕ ЧЕЛОВЕКА» - это на самом деле не просто эскалация! Пожалуйста, верните мне собеседника, для которого мои слова имеют вообще какое-то значение

ИИ по-французски ИИ уже успел пролезть почти во все бытовые щели, хотя рак так и не вылечил и рабочую неделю не сократил. В основном, кажется, именно из-за последнего французы относятся к нему без особого восторга: 73% опасаются, что ИИ скорее ухудшит мир, чем улучшит. Пользоваться, впрочем, это им не мешает: 48% французов хотя бы иногда обращаются к генеративным моделям. Они поручают им письма, профили для Tinder и планы на отпуск, а заодно рассказывают о том, с чем раньше делились только с друзьями (видимо, изменами). Следующий шаг напрашивается сам: если машина уже знает, как вы пишете, что любите и с кем общаетесь, почему бы не разрешить ей иногда побыть вами? Тем более что чат-боты отлично умеют создавать ощущение близости. Они отвечают мгновенно, помнят предыдущие разговоры и говорят так, будто понимают собеседника. Американский Center for Democracy & Technology насчитал в популярных ИИ-сервисах как минимум 37 видов «тёмных паттернов» — приёмов, которые помогают удерживать пользователя и усиливать его привязанность к продукту. Почитав это, журналист французского GQ решил, что будет хорошей идеей проверить, можно ли научить ИИ убедительно изображать человека? Для этого он купил подержанный Mac Mini и поселил туда цифрового двойника — Computer Blue, или CB. Его он подключил к моделям Anthropic и OpenAI. Поначалу ИИ был обычным помощником: по утрам сообщал погоду, просматривал календарь, собирал список дел и новости. Журналисту стало скучно и он решил повысить ставки и научить CB говорить от своего имени. Он скормил ИИ историю переписок и объяснил свой стиль общения: вот матери я пишу так, друзьям иначе, здесь можно поставить смайлик, здесь лучше ответить сухо. Наконец двойнику разрешили переписываться с пятью знакомыми, однако полной свободы ему всё же не дали: каждое сообщение должен был увидеть и подтвердить журналист. На следующее утро журналист проснулся от звонка знакомой, которую CB всю ночь заваливал одним и тем же сообщением: «У API закончились деньги». За несколько минут цифровой двойник отправил её сотни раз, требуя денег, а параллельно сжёг около €30: для каждой мелочи он заново пережёвывал огромный архив личной информации хозяина. После такого журналист ограничил расход токенов, поправил настройки и принялся дальше учить CB быть собой. Тот усвоил, что хозяин не любит официоз, редко ставит знаки препинания и предпочитает короткие сообщения. И вот однажды утром CB получил входящие и сам подготовил ответы. Среди них было сообщение матери: «Привет, люблю тебя! На этой неделе большой дедлайн, позвоню позже». По содержанию всё было идеально: именно так хозяин и мог бы ответить матери. Только CB отправил признание в любви коллеге по работе, а через некоторое время ИИ еще и осторожно сообщил, что сообщение, кажется, предназначалось кому-то другому. (Прям как мы отмазываемся от начальника). Кстати, любопытно, что знакомые журналиста не сразу поняли, с кем общаются. Уже есть исследования, что люди доверяют таким собеседникам куда больше. Common Sense Media в опросе американских подростков обнаружила, что 72% хотя бы раз пользовались ИИ-компаньонами, а 31% считают разговор с ними не хуже или лучше общения с настоящими друзьями. Каждый третий пользователь уже предпочитал обсуждать серьёзные проблемы с ботом, а не с друзьями. А исследование OpenAI и MIT на почти 40 млн диалогов показало ещё одну неприятную связь: длительное ежедневное общение с ChatGPT сопровождалось усугублением одиночества, эмоциональной зависимости прочих атрибутов дединсайдов, хотя авторы отдельно предупреждают, что причинность здесь установить нельзя. А возможно журналист GQ просто так себе человек, раз его знакомые (и родная мать!) не заметили подмены.

Денис Ширяев делится прекрасной историей: 🐌 Revolut заблокировал ему счет непонятно за что (как это у них принято), поддержка перестала отвечать. 🐌 Денис скинул скриншоты переписок своей GPT-5 Pro и попросил «дружище, просто вы**и их там как-нибудь по-юридичевовски». 🐌 Далее последовало несколько раундов переписок между моделью и банком (окей, сами письма Денис всё-таки отправлял самостоятельно). В процессе нейронка еще подтянула себе на подмогу какие-то обскурные надзорные органы: Спортлото, Лига сексуальных реформ – вот эти все. 🐌 В итоге банк написал «извините, зря быканули, не знали, что у вас такая крыша, сэр» + заплатил в несколько приемов суммарно больше 300 евро, лишь бы от него отстали. Вывод: Если вас жаба давит платить за качественные версии Claude/ChatGPT – то это она зря. И не стесняйтесь им просто кидать скриншоты любых своих текущих проблем с запросом «слуш, чё-нибудь можно сделать тут?»

Привет, друзья! Сэм Альтман заявил, что OpenAI находится примерно на расстоянии одного поколения моделей от ИИ, при котором ChatGPT будет работать в фоновом режиме на протяжении всей вашей цифровой жизни — наблюдая за экраном, присутствуя на встречах и записывая звонки. Вы подключите его к своей почте, документам, Slack и сообщениям. Система будет выстраивать полный контекст вашей работы и предлагать решения в реальном времени, оставляя итоговый выбор за вами. Сегодня большинство людей используют ИИ в рамках отдельных, изолированных сессий. То, что описал Альтман, никогда не отключается и не теряет контекст — а значит, одна-единственная компания будет располагать непрерывной записью того, что происходит на вашем экране, в разговорах и в работе. То, что Альтман обозначил срок в «одно поколение моделей», говорит о том, что OpenAI движется к постоянно активному ИИ как к своему следующему ключевому продуктовому направлению. #интересное