22 исследователя, включая Джеффри Хинтона, Йошуа Бенджио, главного научного сотрудника OpenAI Якуба Пачоцки/Пахоцки и сооснователя Anthropic Джека Кларка, опубликовали в Кембридже статью о риске «интеллектуального взрыва» — резкого ускорения прогресса ИИ за счёт того, что сам ИИ начинает автоматизировать собственную разработку. По их мнению, годы научного прогресса могут сжаться в месяцы, а это грозит потерей контроля над моделями и сломом баланса сил между компаниями и странами.
Авторы ссылаются на внутренние данные Anthropic о резком росте доли кода и R&D-работы, выполняемой ИИ, и просят регуляторов заранее обязать лаборатории отчитываться об уровне автоматизации и подготовить механизмы экстренного замедления — до того, как сценарий начнёт реализовываться.
- Статья написана в Кембридже, имеет 22 автора; ссылка на отчёт — casp.ac/reports/intelligence-explosion
- По данным Anthropic, доля одобренного кода, написанного ИИ, выросла с единиц процентов до 80%+; по Source 1 — с января 2025 по май 2026, по Source 2 — с начала 2025 года
- Доля R&D-задач, которые ИИ выполняет (почти) самостоятельно, выросла с 1% до 26%; Source 2 указывает, что это произошло за полгода
- Экстраполяция трендов METRi: многомесячные R&D-проекты могут быть автоматизированы уже к середине 2028 года
- Логика взрыва: модели расширяют штат исследователей, штат делает модели лучше, цикл повторяется — компьюта одной лабы может хватить на эквивалент миллионов топовых исследователей
- Если исторические темпы отдачи от исследований сохранятся, после полной автоматизации R&D прогресс может ускориться в 10 раз примерно за полтора года
- Среди ограничений сценария авторы называют лимиты вычислений, данные, убывающую отдачу от исследований, трудноавтоматизируемые задачи и длительность претрейнов
- Рекомендации регуляторам: обязать лабы отчитываться о степени автоматизации R&D, пускать внешних аудиторов для проверки моделей до внутреннего деплоя, заранее подготовить лимиты на прирост способностей, возможность приостановки конкретных нагрузок в датацентрах и проверяемые международные соглашения
Авторы призывают власти заранее обязать AI-лаборатории отчитываться об уровне автоматизации R&D, допускать внешних аудиторов и подготовить механизмы экстренного замедления (лимиты на прирост способностей, паузы нагрузок в датацентрах, международные соглашения с проверкой), подчёркивая, что если взрыв начнётся, принимать такие меры будет уже поздно.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖