Глава Anthropic Дарио Амодеи призвал замедлить развитие ИИ

⚡ Глава Anthropic призвал замедлить развитие ИИ и допустить независимых проверяющих внутрь лабораторий В статье We Must Pace the Frontier Дарио Амодеи объяснил, почему изменил позицию: в 2023 году замедление казалось ему преждевременным, теперь он считает его необходимым. Самое интересное: 🔹 ИИ уже ускоряет создание следующего поколения моделей. По словам Амодеи, рекурсивное самоулучшение начинается в отрасли, включая Anthropic. Он опасается, что возможности систем будут расти быстрее, чем способы их контроля. 🔹 Его тревожный сценарий - масштабные кибератаки через 6–12 месяцев. Амодеи допускает, что более мощный рой агентов сможет создать устойчивый ботнет и нанести ущерб на сотни миллиардов долларов. Это его оценка риска. 🔹 Anthropic обещает постоянный доступ внешним проверяющим. Рабочие места, пропуска, инструменты и права, сопоставимые с внутренними командами оценки рисков. Проверять предлагается и готовые модели, и процесс обучения. 🔹 Проверяющие смогут публиковать неудобные выводы. Компания предусматривает ограничения для защищённой информации, но обещает не скрывать результаты только потому, что они ей невыгодны. 🔹 Цель - выиграть год-два для безопасности. Среди предложений: обязательные проверки при достижении опасных возможностей и международные ограничения скорости самоулучшения ИИ. Полную глобальную паузу Амодеи считает маловероятной в ближайшее время. Полная cтатья - https://darioamodei.com/post/we-must-pace-the-frontier @ai_machinelearning_big_data #Anthropic