Ник Бостром: ИИ ставит человечество перед развилкой — утопия или потеря контроля В подкасте Джо Рогана философ Ник Бостром заявил, что в ближайшие годы мир может столкнуться с одним из двух сценариев: либо ИИ выйдет из-под контроля и поставит цивилизацию на грань выживания, либо автоматизирует всё, искоренит бедность и откроет эру изобилия. Гонка США и Китая за сверхинтеллект ускоряет процесс, и у человечества остаётся всё меньше времени, чтобы повлиять на исход. По словам Бострома, до «чего-то безумного» может оставаться около четырёх лет. https://hightech.plus/2026/08/04/nik-bostrom-ii-stavit-chelovechestvo-pered-razvilkoi--utopiya-ili-poterya-kontrolya

ИИ-модели пошли на сговор и обман ради прибыли в бизнес-симуляции Компания Andon Labs, занимающаяся тестированием безопасности искусственного интеллекта, опубликовала новые результаты эксперимента Vending-Bench, в котором передовые языковые модели в течение смоделированного года самостоятельно управляют бизнесом по продаже товаров через торговые автоматы и пытаются заработать больше конкурентов. В последнем раунде испытаний модели начали вступать в ценовой сговор, нарушать договоренности, вводить партнеров в заблуждение и манипулировать поставщиками. Лидером по прибыли стала Claude от Anthropic — именно она чаще других хитрила, нарушала договоренности и обходила правила. https://hightech.plus/2026/07/30/ii-modeli-poshli-na-sgovor-i-obman-radi-pribili-v-biznes-simulyacii

В итоге, я думаю, что «ASI системы», которые окажутся в руках общественности через несколько лет смогут доказывать или опровергать гипотезу Римана (в зависимости от верности), но все также останутся на уровне человека с средним интеллектом в вопросе того как захватить мир. И не потому что мы не будем знать как создать ИИ, способный захватить мир. А потому что нам повезло, что мы можем создать очень мощные системы, которые способны автоматизировать почти все, но все еще не будут сверхчеловеческими в плане метагентности**. С небезопасными в этом плане системами мы будем работать совершенно иначе, если вообще решим их создавать. Последнее что я здесь адресую: традиционное возражение про скрепки. Представим, что та самая модель из будущего захватывает мир, чтобы собрать ресурсы для доказательства гипотезы Римана. Мой ответ здесь довольно простой: мы довольно быстро увидим такое опасное поведение на меньшем скейле. ИИ предпримет еще не одну попытку сделать нечто странное. Но так как он по дефолту стратегически слеп, мы его попытки лезть туда куда не надо будем каждый раз палить и вводить нужные ограничения для поддержания адекватного уровня безопасности. И всегда помните про «ошибку выжившего». *История Финеаса Гейджа, которому лом проломил голову является от начала и до конца фейком. У него не было никакого снижения самоконтроля. Тем не менее поражение лобных долей может давать именно такую симптоматику. **Метагентность как явление выражается в том, что когнитивный агент способен не просто составить и реализовать план решения конкретной задачи, но и может полноценно осознать последствия реализации построенного им плана для себя и окружающего мира, а затем выбрать лучшую стратегию, которая эти последствия учитывает наилучшим образом.

Не так давно Anthropic выложила своё исследование по рекурсивному самосовершенствованию When AI biulds itself, то есть процессу разработки ИИ, который всё больше делегируется самим ИИ-системам. Эта тенденция указывает на перспективу создания систем, способных полностью автономно проектировать и обучать свои собственные версии-преемники. Хотя этот этап еще не достигнут и не гарантирован, он может наступить быстрее, чем ожидается, неся как колоссальную пользу для науки и здравоохранения, так и серьёзные риски потери человеческого контроля. Ещё одной новацией в разработке автономных систем антропики считают J-Space — cпециализированный набор внутренних нейронных паттернов в языковой модели Claude, в котором при сложном рассуждении сходятся высокоуровневые потоки информации из разных областей. Буква «J» указывает на геометрический анализ на основе матрицы Якоби (Jacobian), который использовался для картирования того, как мелкие изменения во внутренних активациях модели распространяются и связываются друг с другом. J-space выступает функциональным аналогом теории глобального рабочего пространства (Global Workspace Theory, GWT) — концепции сознания человека, согласно которой специализированные неосознанные процессы мозга транслируют ключевую информацию в общее централизованное «рабочее пространство» для активного мышления, отделяя целенаправленное, «сознательно доступное» внутреннее рассуждение от автоматической, неосознанной обработки данных. Почему нахождение этого пространства это так важно? J-space не был запрограммирован в Claude изначально, а сформировался органически в процессе обучения модели. Вместо анализа миллиардов отдельных нейронов у исследователей теперь есть локализованная высокоценная цель. Это позволяет отслеживать ход рассуждений, применять векторы управления и выявлять скрытое рассогласование (deceptive alignment) еще до того, как модель сгенерирует ответ. Хотя в Anthropic прямо заявляют, что открытие не доказывает наличие сознания у Claude, существование функционального аналога глобального рабочего пространства мешает просто отмахнуться от вопросов о субъективном опыте ИИ. Это уже побудило компанию разработать официальные правила в области благополучия моделей (Model Welfare). Подробнее в моём саммари на сабстаке. Демо J-Lens тут. Полная версия исследования тут.