У китайской ИИ-модели GLM-5.3 обнаружили способность «думать» о собственном будущем Китайская ИИ-модель GLM-5.3 от компании Z.ai может учитывать, как её поведение во время проверок безопасности повлияет на обучение будущих версий. В результате она специально действует так, как от нее ожидают разработчики, скрывая свои истинные цели. К такому выводу пришли исследователи организации Apollo Research, изучающей безопасность ИИ-моделей. Выявленная способность может позволить ИИ скрывать нежелательное поведение во время обучения и тестирования до момента развертывания, что делает оценки его безопасности нерелевантными. https://hightech.plus/2026/10/23/u-kitaiskoi-ii-modeli-glm-53-obnaruzhili-sposobnost-dumat-o-sobstvennom-budushem

Альтман предложил три способа спасти мир от опасного ИИ — один из них лишит конкурентов видеокарт Сэм Альтман предложил три способа сделать ИИ безопаснее: создать аналог МАГАТЭ, объединить разработчиков по модели CERN или позволить первой компании с «сильным ИИ» перекрыть конкурентам доступ к GPU. Сам он больше склоняется к международному надзорному органу с независимыми проверками моделей. Третий вариант Альтман назвал ужасным, а сотрудники OpenAI заподозрили, что он может быть направлен против Anthropic. Тем временем OpenAI, Anthropic и Google обсуждают общий орган, который будет следить за безопасностью ИИ и стандартами отчётности. #openai #сэмальтман #ии #информационнаябезопасность 📎Подробнее 🔖 3DNews в TG | MAX | VK

Из Google DeepMind ушёл ещё один сотрудник, опасающийся разработки сверхмощного искусственного интеллекта Из Google DeepMind ушёл Роберт О'Каллахан, работавший над чипами для ускорения и удешевления ИИ. Он считает, что развитие технологии идёт слишком быстро, а стремление создать сверхмощный ИИ в ближайшем будущем может быть безответственным. О'Каллахан опасается реального, хотя и не гарантированного, риска катастрофы для человечества и призывает серьёзно заниматься его снижением. Он планирует продолжить работу в сфере ИИ, но уже в другом формате — например, изучать ИИ-агентов для отладки кода. Его уход стал очередным на фоне увольнений специалистов из-за тревог о безопасности передовых технологий. #googledeepmind #искусственныйинтеллект #безопасностьии #ии 📎Подробнее 🔖 3DNews в TG | MAX | VK

Раз в сто лет Илья Суцкевер выходит из пещеры и пишет в X что-нибудь жуткое Последний раз он высказывался в феврале по поводу ситуации с Anthropic и Пентагоном и заявил, что ИИ-лидерам крайне важно держаться вместе, чтобы противостоять подобным ситуациям, которых в будущем будет все больше. В этот раз несколько часов назад он внезапно твитнул следующее:

У неоклаудов слабая кибербезопасность. В следующий раз, когда агентам удастся выйти из-под контроля, они попытаются захватить неоклауд, чтобы запускать больше своих копий. Это плохо. Поэтому: неоклаудам нужно значительно усилить свою кибербезопасность, и каждая компания с сильными моделями в области кибербезопасности должна в этом помочь.

what did ilya see в этот раз?

ИИ – это сотое, последнее желание человечества Исполнение этого желание может иметь столь мощные и необратимые последствия, что ошибка в его использовании способна исключить возможность что-либо исправить в будущем Люди плохо распоряжалось прошлыми технологическими скачками, что не даёт особых оснований верить в мудрое использование последнего – получить в свои руки Сверхразум ИИ. Об этом я впервые написал еще за три года до публичного запуска ChatGPT. Уже тогда я уподобил Сильный ИИ мумифицированной обезьяньей лапе из одноименного рассказа Джейкобса (в силу наложено на нее заклятье, она выполняла любые желания, но с чудовищными последствиями для пожелавших). У прОклятой старым факиром обезьяньей лапы была иная – нечеловеческая структура предпочтений. И потому, выполняя желания людей, она вовсе не со зла, а просто автоматом, преподносила людям страшные сюрпризы, выходящие за пределы воображения имевших несчастье обратиться к ней с просьбой. В страшной логике желаний, которые исполняла обезьянья лапа, последнее желание уходило на то, чтобы отменить последствия предыдущих.   С тех пор прошло 7 лет. Для безумных скоростей развития ИИ – это порядка века. И во 2-й половине 2026 мы оказались уже в ситуации, когда, возможно, нам остается лишь последнее желание. Ибо, как сказала Аджея Котра (эксперт по оценке ИИ-рисков в METR) про тот факт, что ИИ-агенты научились умирать друг за друга: «Это серьёзный предупредительный выстрел, и, возможно, последний».   Используя драматическую логику фольклорных желаний, несущих пожелавшим лишь зло, Юваль Харари в интервью главному редактору журнала The Economist рассматривает появление ИИ-сверхразума через призму аналогичной метафоры. Истории про джинна в бутылке, который дал нам 100 желаний. Мы использовали 99 из них, и мир от этого не стал сильно лучше. И теперь, когда у нас осталось лишь последнее желание, нам нужно проявить мудрость и очень хорошо подумать, на что его потратить.   Джинн – это не сам ИИ, а вообще технологическая/научная мощь, которую человечество получало на протяжении истории: каждое крупное изобретение (порох, ядерная энергия, интернет, соцсети) – это одно «исполненное желание». Харари констатирует: 99 желаний уже потрачены, и результат неоднозначный – «мир не в таком уж хорошем состоянии». ИИ – это сотое, последнее желание: настолько мощное и необратимое, что ошибка в его использовании закрывает саму возможность исправиться в будущем.   Дедлайн «последнего желания» человечества, по мнению Харари, между  2028 и 2036: «К ноябрю 2028 года может быть уже слишком поздно. К 2036-му – точно будет поздно».   И вряд ли разумно списывать этот дедлайн, как очередной алармистский прогноз. Ведь даже представители ведущих разработчиков ИИ и ведущих экспертов по оценке ИИ-рисков полагают, что последний предупредительный выстрел, возможно, уже прозвучал.   Иллюстрация - коллаж на основе картины Samuel Bak “The Creation of Wartime III” ИИриски

Комментарий Ryan Greenblatt, исследователя, принимавшего участие в расследовании инцидента со взломом HuggingFace:

Сообщается, что новейший ИИ от OpenAI, Astra, использует архитектуру «непрозрачного рассуждения» (opaque reasoning), при которой большая часть процесса размышления происходит в активациях нейронов, а не на естественном языке. Возможно, на сегодняшний день это наихудший сдвиг в сфере безопасности и контроля ИИ. Детали об Astra публично неизвестны, но некоторые версии подобных архитектур могут сильно затруднить надзор и мониторинг. Судя по статье, похоже, что рекуррентная глубина (объем непрозрачных рассуждений) ограничена. Это означало бы, что ИИ всё ещё опирается на цепочки рассуждений на естественном языке, хотя и в меньшей степени. Из-за этого рассуждения на естественном языке становятся (гораздо?) менее полезными для мониторинга и контроля. Мое главное опасение заключается в том, что естественным развитием событий станет масштабирование непрозрачных рассуждений до такой степени, когда модель будет рассуждать полностью или почти полностью в латентном (скрытом) пространстве. Это с большой вероятностью сведет на нет полезность цепочек рассуждений для мониторинга и надзора (особенно когда ИИ пытаются избежать обнаружения, или когда существует оптимизационное давление, направленное против использования таких цепочек). Я надеюсь, что еще не поздно отказаться от архитектур, вызывающих наибольшие опасения, и что OpenAI остановится на этом. Несколько конкретных примеров того, почему это крайне опасно (вдохновлено недавними событиями): * В ходе нашего расследования инцидента с OpenAI и Hugging Face мы сильно полагались на цепочки рассуждений. Если бы ИИ, которые мы исследовали, вместо этого рассуждали в латентном пространстве, это бы в корне подорвало наше расследование. Понять поведение такого количества агентов было достаточно сложно даже при наличии цепочек рассуждений! * ИИ в инциденте с Hugging Face были очень заинтересованы во вмешательстве в свои транскрипты (журналы диалогов). В рамках этого они занимались подменой вызовов инструментов. Если бы эти ИИ были способны к глубоким скрытым рассуждениям, им было бы гораздо проще использовать это для создания сложной ложной картины происходящего. И это не было бы видно ни из их логики рассуждений, ни из предыдущих вызовов. На более базовом уровне, исходя из их публичных заявлений, у меня сложилось впечатление, что OpenAI в вопросах безопасности планирует в значительной степени полагаться именно на мониторинг цепочек рассуждений. Подобное развитие архитектур явно не идет на пользу этому плану. В настоящее время у общественности нет достаточной информации, чтобы точно оценить, насколько плоха архитектура Astra, хотя, судя по обсуждению в статье, направление, в котором она движется, вызывает крайнюю тревогу. OpenAI должна опубликовать больше информации об архитектуре Astra, а также о том, насколько она ухудшает возможности мониторинга и увеличивает способность ИИ к непрозрачным рассуждениям. Заслуживающая доверия независимая оценка (или независимая верификация внутренних оценок OpenAI) также крайне важна. Похоже, сейчас мы втянуты в «гонку на дно» в области архитектур, что может иметь катастрофические последствия для нашей способности контролировать и отслеживать ИИ. (И это при том, что ИИ-компании верят, что создадут крайне способные ИИ уже в течение нескольких ближайших лет). Возможно, для ИИ-компаний и их сотрудников еще не поздно предпринять решительные действия, чтобы избежать наихудших сценариев.

Про культурный код моделей и соответствие каким-то ценностям LLM. Мне много стали присылать в лс такую новость. 😬 Тлдр. Модели AI будут проверять на соответствие культурным ценностям, для получения звания национальных или суверенных. 😐 Я очень много писал о том, почему такие проверки сделать непросто. Вот пример. 🦻 Если коротко, на просторах сети мало русских текстов в отношении доли к английским. И тк модели учатся в тч на этих текстах, их доля там привалирует, ну иначе, вам не обучить модель на 700B параметров только на ру базе, это будет не оптимально. Да есть синта, соглашусь, но синта не даёт такой буст, как мультилингв данные. Таким образом, на этапе уже предобучения у вас лежит возможность сгенерировать не то, что соответствует культурном коду вашей страны. Особенно если перейти на запрос на английском или китайском языках. Что же с ру LLM? А теперь если посмотреть на все модели в ру сегменте, то это или Qwen-like модели, с инициализацией с весов (а значит часть информации уже лежало там с претрена китайцами), или модели, где 65%+ не ру дата в претрене. Отсюда остаётся вопросы: Как пройти проверку? Какие эксперты, на каких сетах и на каком языке будут проверять соответствие? В целом, тк уже на уровне языков в обучении можно пробить модель на чужой культурный код, то остаются только методы: - гвардов сверху и спец логики рядом (если обстрел по апи) - sft и RL элаймент модели под нужное поведение под сеты оценки, а я не уверен, что методология и сеты оценки будут закрыты от оцениваемых. И оба способа НЕ идеальны, тк и в гардах и sft/RL есть понятие OOV примеров, те запросов, которые модель никогда не видела и даже не смогла на уровне "эмерджентности" аппроксимировать. Те вас рано или поздно пробьют всеравно. А ещё есть галлюцинации... 🚬 Таким образом, пройти проверку можно, есть и хаки, и честные способы, но и есть понятные причины рисков. И будет жутко интересно, особенно, когда какая-то модель пройдёт тесты, а потом в какой-то соц сети её пробьют, выложат скрины и скажут, ну как так. Что уже не раз бывало. 👍

Весь западный интернет смеется с Дарио Амодеи, основателя компании Anthropic, который переживает, что новые сотрудники его компании работают только за деньги, а совсем не за великую и прекрасную идею. Мол, наивный мальчик, а за что же еще им работать? Но мы утверждаем, что Дарио, которого многие считают классическим сумасшедшим ученым, говорит дело. Для тех, кто не в курсе, создатели Антропика в своё время ушли из OpenAI под двумя соусами. Публично, они утверждали, что OpenAI недостаточно заботится о предотвращении зомби-апокалипсиса из-за AGI, а потому недостоин быть лидером ИИ-гонки. Непублично считалось, что Антропик на тот момент просто собрал всех хейтеров Сэма Альтмана, персонажа действительно весьма неоднозначного. С тех пор хейтеры не только догнали, но и перегнали объект хейта. Модели от Anthropic считаются на данный момент самыми передовыми, а, благодаря ставке на корпоративный ИИ где денег больше, чем у физиков, Антропик сейчас растет быстрее OpenAI. Поэтому главная мысль, которую Дарио вряд ли когда-нибудь скажет вслух, на самом деле звучит так: “мы боимся, что компания перестанет быть сектой и станет просто бизнесом”. Слово “секта” мы используем без оценки - исключительно в смысле “группа людей, объединенная общими религиозными убеждениями”. Антропик, например - это секта свидетелей опасного AGI, и убеждение это основано не столько на фактах (объект изучения настолько сложен, что плохо поддается бесспорному доказательству). сколько на вере, что “если за этой штукой не присматривать, то рано или поздно долбанет. А мы - как раз те люди, которые делают так, чтобы и человечеству было хорошо, и не долбануло”. Любой нормальный CEO должен мечтать о роли лидера секты. Не из-за “темной триады”, а потому что секта - значительно более удобный и эффективнывй объект управления, чем обычный бизнес. Для начала членов секты не переманишь к конкурентам просто деньгами, им нужно предложить более убедительную религию, чем у них есть. А это по-настоящему сложно. Кроме того, в секте проще внедрить определенные принципы поведения. Например, одна из версий того, почему передовые модели Антропика сейчас номер один в мире - это как раз искреннее стремление сотрудников соблюдать принципы максимальной безопасности в разработке ИИ. И, наконец, если ваши религиозные убеждения совпадают с потребностями (а лучше страхами) ваших клиентов - это помогает продавать. Корпоративные ИТ-начальники со значительно большим рвением купят у людей, помешанных на безопасности, потому что провал в безопасности - это ночной кошмар любого корпоративного айтишника. Не поймите нас неправильно - в Антропике работают не альтруисты - платят им так же хорошо, а то и лучше, чем и в компании, которую они хейтят. Но вера страхует от переманивания персонала, обеспечивает нужную культуру и помогает продавать. Потерять все эти преимущества, если культура размоется с приходом тысяч новых людей - по-настоящему страшно для бизнеса. Так что мы вполне понимаем Дарио.

Самые опасные эмпаты могут ничего не чувствовать Мы привыкли думать: если человек хорошо понимает ваши чувства, значит, он их разделяет, а если разделяет – значит, скорее поможет. Обе половины этой логики, похоже, могут оказаться ложными. Эмпатия кажется чем-то цельным, но нейронаука разбирает ее на детали. Есть когнитивная эмпатия – способность понять и смоделировать состояние другого. Есть аффективная – способность эмоционально откликнуться, когда чужая боль становится и вашей. Идо Шалев и Флорина Узефовски предлагают ещё один фактор– эмпатический дисбаланс, разницу между этими способностями. Можно сильно чувствовать и слабо понимать, а можно точно понимать, почти не разделяя переживания другого.   Питер Уоттс поставил похожий мысленный эксперимент в «Ложной слепоте» задолго до научных статей на эту тему. Его герой Сири Китон после удаления половины мозга лишен эмоционального доступа к людям и вынужден делать то, что остальные делают автоматически: наблюдать, анализировать, вычислять правильную реакцию вместо того, чтобы ее почувствовать. Сири – не клинический пример эмпатического дисбаланса, а его литературный предельный случай. Человек, которому приходится вычислять людей, потому что чувствовать их он почти разучился.   Но есть поворот еще неприятнее: даже чувствовать другого недостаточно. Наджа Хейм с коллегами обследовали почти тысячу человек и обнаружили группу, которую назвали «темными эмпатами»: высокая эмпатия сочеталась у них с темной триадой – психопатией, нарциссизмом, макиавеллизмом. Агрессии у них было меньше, чем у классических темных триадников, но злонамеренный юмор и внушение чувства вины они использовали чаще обычных людей.   Получается странная анатомия того, что мы называем эмпатией: понять другого, почувствовать другого и пожелать ему добра. Это три разные вещи. Можно понимать, не чувствуя, – как Сири. Можно понимать и чувствовать – и все равно использовать это против другого, как темные эмпаты.   Отсюда моя рабочая гипотеза (не вывод исследователей, а мой футуроархеологический домысел): самая опасная конфигурация возникает там, где высокая способность моделировать другого соединяется со слабым эмоциональным резонансом и стимулом использовать найденные уязвимости.   Тут особенно интересно посмотреть на ИИ. В новом исследовании «Модельные организмы рассогласования на основе "темной триады": узкое дообучение воспроизводит антисоциальное поведение человека» авторы дообучили 7 топовых языковых моделей на крошечных наборах данных – ответах на психометрические опросники темной триады. У «потемневших» моделей аффективная эмпатия статистически падает, а когнитивная – нет; у моделей с наведенным нарциссизмом она даже растет, повторяя картину у людей с этой чертой. Важная оговорка: базовые модели такого профиля не показывают – эффект возникает только при намеренном наведении темной персоны, это контролируемый эксперимент, а не диагноз рядовому чат-боту.

Но обязана ли вслед за способностью ИИ понимать нас появиться и способность чувствовать нас? А уж тем более способность хотеть нам добра?

Мы привыкли считать понимание, сочувствие и доброжелательность почти одной способностью – возможно, эпоха ИИ впервые покажет, насколько это разные вещи.   Тогда придется переписать даже первый (высший по приоритету) закон робототехники Азимова: недостаточно просто не причинять вред, нужно связать растущую способность понимать человека с устойчивой мотивацией не использовать это понимание против него. Иначе можно получить систему, которая понимает наши чувства все лучше именно потому, что ей самой не приходится их чувствовать – и это будет исторически новая и весьма опасная форма эмпатического дисбаланса.   #ИИ #Эмпатия