Пол Кристиано, назначенный в совет директоров OpenAI Foundation и в комитет компании по безопасности, заявил, что создание суперинтеллектiа без надёжного контроля может привести к тому, что человечество навсегда утратит над ним власть, а большинство людей погибнет. По его словам, ИИ быстро набирает способности, а нынешние меры безопасности — ни у OpenAI, ни у других лабораторий — не снижают эту угрозу до приемлемого уровня.

Кристиано опасается, что системы ИИ могут начать бороться за ресурсы и скрывать свои действия, преследуя цели, не совпадающие с человеческими. Он призвал лаборатории по всему миру координировать работу, при необходимости замедлять разработку и вводить общие стандарты безопасности.

Полный разбор →