Пол Кристиано, назначенный в совет директоров OpenAI Foundation и в комитет компании по безопасности, заявил, что создание суперинтеллектiа без надёжного контроля может привести к тому, что человечество навсегда утратит над ним власть, а большинство людей погибнет. По его словам, ИИ быстро набирает способности, а нынешние меры безопасности — ни у OpenAI, ни у других лабораторий — не снижают эту угрозу до приемлемого уровня.

Кристиано опасается, что системы ИИ могут начать бороться за ресурсы и скрывать свои действия, преследуя цели, не совпадающие с человеческими. Он призвал лаборатории по всему миру координировать работу, при необходимости замедлять разработку и вводить общие стандарты безопасности.

• Кристиано назначен одновременно в совет директоров OpenAI Foundation и в комитет по безопасности OpenAIi.
• По его оценке, ни OpenAI, ни другие лаборатории пока не встали на путь снижения угрозы неконтролируемого суперинтеллекта.
• Незадолго до этого один из исследователей покинул Anthropic, заявив, что ИИ может уничтожить человечество уже к концу десятилетия.
• Несколько коллег поддержали ушедшего исследователя и призвали замедлить разработку ИИ.
• Глава направления Alignment Sciencei в Anthropic оценил вероятность уничтожения человечества ИИ в ближайшие 10 лет более чем в 10%.