Пол Букхейт о необходимости защитного ИИ и персональных агентов

Неизбежность враждебного AI Пол Букхейт: Нам необходимо больше инвестиций и инноваций в сфере защитного искусственного интеллекта. Неизбежно, что ИИ будет использоваться против нас мошенниками, преступниками, правительствами и другими злоумышленниками. По мере совершенствования ИИ растут изощренность и опасность подобных атак. Сколько из наших нынешних компьютерных систем устояли бы перед атакой суперхакера на базе ИИ? Как понять, с кем мы общаемся — с реальным человеком или с дипфейком? Как убедиться в точности и надежности источников информации? Как защититься от нового искусственно созданного вируса? Один из продуктов, который хотелось бы увидеть, — это так называемый «пользовательский агент» (User Agent). Это персональный ИИ, запрограммированный на защиту наших личных прав и интересов. Подобно идеальному адвокату, он должен всегда действовать в наших интересах, а не в интересах корпораций или правительств, стремящихся контролировать нас и манипулировать нами. В идеале на отношения с таким ИИ должен распространяться принцип адвокатской тайны: он хранит секреты и не доносит на нас «полиции мыслей». Он отслеживает наши коммуникации и учетные записи, защищая от мошенничества и попыток взлома. Он помогает нам оставаться в курсе событий, автоматически проверяя потребляемую нами информацию и предоставляя полезный справочный материал и контекст (по аналогии с функцией Community Notes в соцсети X, но применительно ко всему). Это надежный советник в вопросах здоровья и финансов, способный предостеречь от мошенничества и одновременно предложить более перспективные и выгодные варианты. В идеале он мог бы даже отслеживать окружающую обстановку и использовать такие данные, как сводки о преступности, для обеспечения нашей физической безопасности. Какие стартапы или команды лучше всего справляются с разработкой защитного ИИ? Особенно интересно узнать, есть ли у кого-то дельные мысли о том, как защититься от искусственно созданных вирусов, ведь технологии модификации свойств патогенов (gain-of-function) становятся все более доступными и опасными.