Джеффри Хинтон, Йошуа Бенджио и другие исследователи опубликовали статью об интеллектуальном взрыве
D@data_secretsAI-инженер
3 недГруппа ученых, включая Хинтона и Бенджио, выпустила статью о рисках ускорения разработки ИИ и необходимости регулирования автоматизированных R&D процессов.
Автономное развитие ИИ может привести к неконтролируемому ускорению технологического прогресса.
- Модели начинают самостоятельно писать код и выполнять исследовательские задачи, что создает цикл самосовершенствования.
- Существует риск, что общество и регуляторы не успеют адаптироваться к темпам изменений.
- Авторы предлагают обязательный аудит автоматизации R&D и механизмы «аварийной остановки» для дата-центров.
Джеффри Хинтон, Йошуа Бенджио и еще два десятка исследователей выпустили статью про интеллектуальный взрыв
Работа вышла в Кембридже, всего у нее 22 автора. Среди них главный научный сотрудник OpenAI Якуб Пачоцки и сооснователь Anthropic Джек Кларк. Главный вопрос: что будет, если ИИ начнет ускорять разработку ИИ настолько, что годы прогресса сожмутся в месяцы.
Начинают с того, что уже происходит в лабах. В Anthropic доля кода, написанного моделями, выросла с единиц процентов до более 80% с начала 2025 года, а доля R&D-задач, которые ИИ делает автономно, за полгода выросла с 1% до 26%.
Логика взрыва простая: модели расширяют исследовательский штат, штат делает модели лучше, и цикл повторяется. Компьюта одной лабы хватит на эквивалент миллионов топовых исследователей. Если исторические темпы отдачи от исследований сохранятся, то после полной автоматизации прогресс ускорится в 10 раз примерно за полтора года.
Сценарий может и не реализоваться, если упрется в компьют, данные или длительность претрейнов, но риски авторы считают серьезными. Общество не успеет адаптироваться, люди потеряют контроль над моделями, а лидер гонки получит слишком большой перевес.
Регуляторам советуют обязать лабы отчитываться о степени автоматизации R&D и пускать внешних аудиторов проверять модели до внутреннего деплоя. Параллельно нужно заранее подготовить механизмы замедления: лимиты на прирост способностей за период, возможность ставить на паузу конкретные нагрузки в датацентрах, международные соглашения с проверкой исполнения. По мнению авторов, если взрыв начнется, решать что-то будет уже поздно.
https://casp.ac/reports/intelligence-explosion
Кратко (AI)
Группа из 22 ведущих исследователей ИИ опубликовала статью, предупреждающую о риске «интеллектуального взрыва», при котором ИИ начинает автономно ускорять собственную разработку. Авторы отмечают резкий рост доли кода и R&D-задач, выполняемых моделями в лабораториях, и призывают регуляторов внедрить механизмы контроля и аудита для предотвращения потери управления.
Обсуждение
280% кода от моделей за год - это уже не прогноз, это текущие цифры anthropic. если цикл самоускорения правда замкнется, рост будет не линейный. хорошо хоть что авторы сразу пишут про лимиты и внешний аудит, а не просто пугают взрывом
80% кода - это уже не прогноз, это текущая цифра. но цикл самоускорения все равно упрется в данные и валидацию, а не в объем генерации. и да, авторы сразу зовут регуляторов с лимитами и аудитом - по факту это попытка притормозить то, что уже вышло из-под контроля самих лаб.