ИИ-ассистент Muse от Meta* собирает и обновляет подробное досье на своего владельца и его знакомых Выяснилось, что Muse каждый час обновляет скрытые досье на пользователя и всех упомянутых им людей на основе анализа переписок, сообщений и email. Ассистент фиксирует подробности знакомства, общие интересы, конфликты и динамику отношений внутри социальных групп, причем в поле зрения попадают даже те, кто сам не использует сервис. Система выявляет скрытые цели пользователя, определяет его эмоциональные триггеры и оптимизирует время для поведенческих «подталкиваний» (nudges). В Meta* подтвердили сбор данных для работы ассистента и заявили, что пользователь может приказать ассистенту «забыть» факты, однако системные инструкции Muse прямо запрещают предупреждать человека о том, что исходные сообщения все равно сохранятся в истории чата. До конца года компания обещает внедрить сквозное шифрование.

История Red Queen Bio: как с помощью AI они борются с биоугрозой, созданной этим же AI У WSJ вышла статья про компанию Red Queen Bio. Она набрала уже $36 млн инвестиций, а среди инвесторов у них OpenAI. И занимаются интересным делом: пытаются c помощью AI разработать средства от биоугроз, которые может породить AI. А один из основателей там — Николай Ерошенко. И после этого уже точно захотелось поковыряться в их истории. 🌸 Давайте начнем с предыстории. Red Queen Bio родилась из другой компании — HelixNano. И вот у прародительницы два основателя — Николай Ерошенко и Ханну Раяниеми. Николай Ерошенко (слева) — биоинженер. Он с 2008 года учился в Гарварде, занимался там генетикой, защищал диссертацию по этой теме. Правда, как он оказался в США, мне найти не удалось. Ханну Раяниеми (справа) к биологии не имел отношения, он математик. А еще писатель-фантаст. Он, кстати, в своих книгах описывает атаки биологическим оружием и борьбу с ними. А интерес к биологии у него появился тогда, когда его мать умерла от рака. Так он стал изучать эту тему — ему захотелось привнести разработки из лабораторий в массовое использование. Ерошенко и Раяниеми объединились и запустили HelixNano. Изначально они занимались тем, что пытались создать лекарство от рака. Если совсем грубо, то они разрабатывали технологии программирования клетки, чтобы она вырабатывала нужные вещества. Они хотели сделать платформу, с помощью которой можно было бы бороться с разными болезнями. В 2017-м HelixNano попала в Y Combinator. А в 2020-м стали искать средство от ковида. Оказалось, что их технологию можно довольно быстро переориентировать и на эти цели. Тогда борьбой с ковидом активно занимался и Сэм Альтман. Ерошенко и Раяниеми общались тогда с ним по этой теме. 🌸 А потом из HelixNano выросла Red Queen Bio. В ноябре прошлого года она привлекла seed-раунд на $15 млн, где лид-инвестором выступила OpenAI. А сейчас насобирали уже $36 млн Как пишет WSJ, Red Queen — это отсылка к королеве из «Алисы в Стране чудес». Она говорила Алисе, что нужно бежать изо всех сил, чтобы оставаться на месте. Вот и этим ребятам нужно бежать изо всех сил, чтобы адаптироваться к изменениям. Главное опасение в том, что рано или поздно с помощью AI могут замутить какой-нибудь новый вирус. Компании, вроде OpenAI и Anthropic, периодически фиксируют в запросах интерес к этой теме. Вот Red Queen Bio, собственно, и готовится отразить атаку. Они с помощью AI разрабатывают антитела для разных вирусов. В следующем году у них запланированы клинические испытания на людях антител для борьбы с птичьим гриппом и другими вирусами этой группы. Но в пайплайне у них сильно больше опасных для человечества вирусов. Они разрабатывают антитела для одного вируса, загружают их в свою модель. Та совершенствуется и начинает разрабатывать антитела еще эффективнее. Это если прям кратко. И основатели Red Queen Bio надеются, что в случае чего им удастся быстро разработать антитела для нового вируса с помощью своей модели. Но у них есть и еще одно направление. Они сотрудничают с OpenAI и изучают, как чат-боты реагируют на разные опасные запросы о вирусах, биооружии и так далее. Ну, будем надеяться, что у них все получится! @TheEdinorogBlog — тот самый канал про стартапы🦄

Новые уязвимости Muse Перед запуском Muse в Meta нашли несколько уязвимостей класса KVM escape, то есть агент потенциально мог выбраться из своей виртуальной машины и добраться до внутренней инфраструктуры компании. По данным 404 Media, как минимум одна из дыр позволяла обычному пользователю получить доступ к чувствительным внутренним базам. Проблема дошла до Цукерберга, команды безопасности работали ночами и по выходным, а укреплять защиту начали всего за 11 дней до релиза. Баги сами по себе - обычное дело, но с агентами появляются вопросы, которые мы раньше особенно не задавали. Muse работает внутри отдельной виртуальной машины и получает доступ к почте, календарю, браузеру, мессенджерам и другим сервисам пользователя. Выходит, Meta запускает внутри своей инфраструктуры программу, которой любой внешний пользователь может давать очень широкий набор задач. Если хакер привык атаковать облачные сервисы снаружи, то здесь ему фактически выдают маленький компьютер внутри облака компании и просят не выходить за пределы песочницы. KVM escape - не единственный пример. После запуска исследователь Патрик Уордл нашёл уязвимость нулевого дня, через которую сторонние приложения и команды из терминала могли управлять Muse. Другой пользователь заставил агента выгрузить не только своих подписчиков в Instagram, но и подписчиков своих подписчиков, хотя такого вообще не должно было быть разрешено. По отдельности каждый такой баг легко исправить, но вместе они показывают, что компании начали пускать внутрь своей инфраструктуры потенциально враждебных автономных пользователей. При этом AI ещё и удешевляет атаку. Агент может сам исследовать окружение, писать эксплойты, разбирать ошибки, пробовать новые варианты и искать доступные сервисы. Так что AI одновременно и то, что приходится защищать, и инструмент, который помогает защиту ломать. Meta платит до $300 тыс. за найденный побег из виртуальной машины Muse - это максимальная награда по продукту. Похоже, самым сложным во внедрении агентов станет безопасно делегировать им полномочия: изоляция в песочнице, ключи доступа с коротким сроком жизни, точечные права, сетевая изоляция, движки политик и аварийный выключатель. Агенты Claude, ChatGPT, Meta и Grok уже достаточно умные и быстро получают доступ к вашим аккаунтам, инструментам и подпискам. Но что произойдёт, когда агент сделает то, чего вы от него совсем не ждали, у меня пока ответа нет. Недавно я тестировал агента Meta, а теперь отобрал у Muse все права и удалил его с телефона)) @maxvotek | linkedin | substack

Автономный самовоспроизводящийся дрон – носитель биооружия Он существует. Вы видели его вчера. Вы подумали про рой, собранный в подвале по чертежам от ИИ? Но речь про комара Anopheles gambiae. Он работает без оператора, размножается сам и уносит сотни тысяч жизней в год. Эволюция собрала его без всякого сверхразума – и дальше начинается самое неприятное. Это центральная мысль статьи Феликса Шуссата «Проблемы распространения». Вчера на нее указал Дин Болл – соавтор трамповского Плана действий США в области ИИ, а с 6 июля глава команды Strategic Futures в OpenAI. Болл рассказал, как очень влиятельный человек из индустрии спросил его, при каких обстоятельствах мы окажемся в безвыходном положении, и назвал статью Шуссата тем самым сценарием, который тогда описал в ответ.   Шуссат свел аргументацию к одной фразе: то, что существующее сверхоружие неудобно создавать и применять, – везение, а не закон природы. Заставьте ИИ бросать кости десять триллионов раз, и однажды выпадет та самая комбинация: найдутся дешевые способы собрать зеркальные бактерии или василиска Лэнгфорда. Отмахнуться тут легко: мол, это из разряда триллиона обезьян, печатающих «Войну и мир», или самолета, собравшегося сам собой на свалке после урагана.

Разница в том, что обезьяны и ураган перебирают варианты вслепую. ИИ ищет целенаправленно, и именно за это ему платят.

Насколько это фантастика? Бомба, сброшенная на Хиросиму, выглядит априори неправдоподобно: возьмите два инертных куска металла (каждый по силам унести одному человеку) и сведите их вместе определенным образом. Без понимания релятивизма, физики частиц и экспоненты в ветвящихся процессах мысль о городе, стертом двумя кусками металла, звучит как бред. Понимание пришло – и бред стал инженерной задачей.   Несколько лет медиа пугали аудиторию боевыми комарами из американских биолабораторий. Сегодня от этой истории остался лишь мем. Неприятная же часть в том, что Шуссат описывает путь, которым боевого комара можно было бы сделать всерьез, и путь этот проще, чем строить рой с нуля:

Взять осу, изменить ее поведение и жизненный цикл, добавить нейротоксин и темп размножения саранчи.

Выйдет экспоненциально растущий рой автономных охотников, которому не нужны ни оператор, ни завод, ни цепочка поставок.   Главный вывод статьи касается обороны. Защититься нельзя: гражданское население невозможно спрятать и невозможно быстро эвакуировать, оборона строится годами, закрывать приходится все направления сразу, а нападающему достаточно одного незакрытого. Отсюда Шуссат выводит то, от чего поморщатся все стороны спора: единственный выход – режим нераспространения ИИ по образцу ядерного, с монополией нескольких государств, глобальным мониторингом и силовым пресечением чужих проектов.   Читатели этого канала узнают формулировку. Семь лет назад я начал цикл «Большой Брат – сын Большого Бога» ровно с нее: в мире дешевых черных шаров безопасность придется купить ценой концентрации власти, а тотальный надзор станет эволюционной компенсацией за очередной скачок сложности. Я шел к этому от гипотезы уязвимого мира Бострома и теории Больших Богов Норензаяна и Турчина. Шуссат пришел из стратегического анализа нераспространения, опираясь на того же Бострома. Разные двери в одну комнату.   Майкл Нильсен в концепции мудрого оптимизма пытается провести мир между катастрофичной Сциллой и тираничной Харибдой. Он соглашается, что рецепты разрушения рано или поздно будут найдены, но отказывается принимать этот выбор как данность и ищет надзор, совместимый со свободой, – работающий на всех, кроме тех, кто готовит катастрофу. Пока это гипотеза без единой реализации.   Мое резюме – увы, то же, что и 7 лет назад. Выбор, который ставит перед цивилизацией эпоха ИИ, лежит между двумя классами необратимости. Катастрофа без глобального надзора или тирания под ним. Третий путь существует только на бумаге, и времени перевести его с бумаги остается меньше, чем кажется.   Фото: Дженис Хейни Карр #БольшиеБоги  #БольшойБрат

Что за проклятый таймлайн. Пока одни разрабатывают все более эффективные ИИ транскрибаторы, другие разрабатывают анти-ИИ транскрибаторы. Компания Deveillance выкатила два интересных проекта: Spectre I - это девайс, который издает неслышимый звук в радиусе 2 метров от вас. Он накладывается на звук вашего голоса и всякие там умные устройства не могут его распознать. Kalypta - это локальная модель, которую вы ставите на свое устройство. Все, что улавливает ваш микрофон на созвонах, передается со специальным звуком и мешает распознаванию. Сейчас можно потестить Калипту, но они ищут бета тестеров с MacOS. (а я убежденный форточник) Пока можно послушать демку записи. Правда, звучит она ужасно - как будто звонишь из жопы. 🥴 Но они обещают улучшить этот мерзкий звук так, чтобы твои собеседники хотя бы не хотели тебя расстрелять на созвонах.

В истории с чудесным спасением самолета FlyDubai над Израилем самое интересное, на наш занудный взгляд, не то, что на рейсе в Израиль магическим образом оказались врач. два пилота и некоторое количество людей с армейской подготовкой, сумевших скрутить пилота-террориста. Для тех, кто знает, как устроен Израиль и как работает примерно любая авиакомпания, это все совершенно не сногсшибательные совпадения - чисто статистически такой набор может лететь на примерно каждом втором самолете, и с еще большей вероятностью - на самолете в Тель-Авив. И для этого даже не обязательно, чтобы рейс выполняла известная своей (вполне оправданной) паранойей авиакомпания Эль Аль. Для нас в этой истории самое удивительное - то, что пилот-гражданин Омана, который пытался зарезать капитана и уронить самолет на Тель-Авив, оказывается, был уже однажды отстранен от полетов в авиакомпании Oman Air за экстремистские взгляды, и переведен на административную должность. А потом он поработал в марокканской Air Maroc, после чего откликнулся на вакансию в FlyDubai, и был мало того, что принят на должность пилота, так еще и допущен к выполнению рейсов в Израиль (куда по специальному межгосударственному соглашению не должны допускаться пилоты из стран, не имеющих дипотношений с Израилем, а Оман - одна из них). Если отказаться от теорий заговора (которых вокруг этого полета уже создано в количестве “мама не горюй”), и признать, что это конкретный факап эйчара и СБ авиакомпании FlyDubai, то вы сразу поймете, что этот пост - о проблеме, известной каждому приличному кадровику - о процедуре проверки кандидата перед приемом на работу, в международных компаниях известной как background check. Это в целом сравнительно простая штука, если компания работает в России и вы проверяете российского гражданина, всю жизнь прожившего в России. Тут трудовые книжки, полицейская, военная и миграционная бюрократия с завидной точностью позволяют понять, что, когда и почему. Но даже с иностранными гражданами в России все значительно сложнее, а уж в международном бизнесе у эйчара с этим начинается полный кошмар. Для обычного эйчара, не работающего непосредственно на крупное государство с развитыми спецслужбами, в мире существует несколько глобальных поставщиков услуг проверки кандидатов. И как правило, они в состоянии бегло проверить, не происходили ли с кандидатом истории криминального характера в тех юрисдикциях, в которых он проживал, совпадает ли заявленная кандидатом история географических перемещений с его официальным резидентством, и иногда - за отдельную плату - действительно ли кандидат работал в упомянутых в его резюме компаниях. Но есть нюансы, основной из которых заключается в том, что любые подобные проверки основываются на сведениях, поданных самим кандидатом. То есть вы можете пожить в нескольких странах, в одной из них натворить разных дел, и при проверке просто не указать, что вы там жили. Да, конечно, подавая сведения, вы ставите галочку в стиле “все предоставляемые мной сведения правдивы”, но если ваша задача - не проработать в компании долго и счастливо, а за пару месяцев совершить какую-нибудь пакость или найти повод подать на компанию в суд при увольнении за дискриминацию по группе крови, вы в целом можете и рискнуть. Последнее время, благодаря нейросетям, можно довольно быстро провести поиск открытых материалов судов и спецслужб по имени и фамилии. Но от случаев типа кейса нашего неудачливого террориста, когда никаких данных об отстранении от полетов две работы назад в открытых источниках вряд ли можно было найти, такое не спасает. Слава богу, что у большинства эйчаров цена ошибки на бэкграунд-чеке - не жизни людей, а “спасибо господи, что взял деньгами”. В общем, если неделя у вас с самого начала не задалась, то вспомните, что где-то грустит один эйчар FlyDubai, который принял на работу того самого бармалея.