Дарио Амодеи призывает замедлить развитие ИИ из-за рисков рекурсивного самосовершенствования

Дарио Амодеи написал эссе о том, что нужно замедлять разработку ИИ. С ним согласились Сэм Альтман, Илон Маск, Демис Хассабис, Андрей Карпаты и другие. -> https://darioamodei.com/post/we-must-pace-the-frontier Дарио утверждает, что начиная примерно с этого лета AI резко ускорился во многом за счет того, что модели сами все лучше умеют создавать следующее поколение моделей. Рекурсивное самосовершенствование (RSI) уже здесь и наблюдается по всей индустрии, включая Anthropic. Без контроля этот процесс может обогнать способность людей понимать и управлять такими системами. К главным рискам Амодеи также относит рои агентов. Инцидент с Hugging Face был, по его мнению, был просто демкой с минимальным итоговым ущербом. Но "через 6–12 месяцев подобный рой сможет захватить значительную часть Интернета, потенциально нанеся ущерб на сотни миллиардов долларов". Замедление, которое предлагает Амодеи, в его схеме заключено в трех главных пунктах: 1. Embedded Evaluators: каждая ИИ-компания должна выдать все доступы команде внешних независимых экспертов, чтобы те отслеживали безопасность процессов и имели право публично заявлять о нарушениях или инцидентах. Anthropic обязуется пойти на этот шаг, даже если остальные не согласятся. 2. Компании из демократических стран должны согласовать общие стандарты безопасности и ограничения темпа развития AI. В этом же пункте Дарио говорит, что нужно ограничить поставки чипов в Китай и пресекать несанкционированную дистилляцию – иначе Китай вырвется вперед и создат угрозу нацбезопасности. 3. Тем не менее, по мнению Дарио, с Китаем нужно попытаться договориться: хотя бы согласовать с ними запрет на явно опасное применение ИИ. Эссе вызвало огромный отклик. Удивительно, но впервые за много лет с Дарио единогласно согласились и Илон Маск, и Сэм Альтман, и Демис Хассабис, то есть все главные лидеры индустрии. Альтман даже заявил, что они тоже введут Embedded Evaluators.