Исследователь Anthropic оценил риск гибели человечества от ИИ в 10%

Привет, друзья! Руководитель научного направления по безопасности ИИ в Anthropic заявил, что оценивает вероятность гибели всего человечества от ИИ более чем в 10% в течение следующего десятилетия Эван Хубингер сделал это заявление, поддержав бывшего исследователя Anthropic Джейкоба Коксона, который уволился из компании и сказал, что OpenAI и Anthropic мчатся к созданию самоулучшающегося суперинтеллекта, «играя в рулетку с нашими жизнями». Коксон заявил, что люди, создающие эти системы, всерьёз считают, что ИИ может убить всех до конца десятилетия, добавив, что старшие исследователи часто высказываются публично гораздо осторожнее, чем в частных разговорах. Затем Хубингер публично согласился с этим. Он сказал, что Anthropic делает всё возможное, но у компании до сих пор нет плана по безопасному контролю над суперинтеллектом, и она не находится на чётком пути к решению этой проблемы. Его личная оценка: вероятность того, что ИИ уничтожит всё человечество в течение следующих 10 лет, превышает 10%. Эти комментарии исходят от исследователей, которые напрямую работали в некоторых из ведущих мировых ИИ-лабораторий. #интересное