← к умной ленте

Хинтон, Бенджио и еще 20 учёных предупреждают об «интеллектуальном взрыве» ИИ

22 исследователя, включая Джеффри Хинтона, Йошуа Бенджио, главного научного сотрудника OpenAI Якуба Пачоцки/Пахоцки и сооснователя Anthropic Джека Кларка, опубликовали в Кембридже статью о риске «интеллектуального взрыва» — резкого ускорения прогресса ИИ за счёт того, что сам ИИ начинает автоматизировать собственную разработку. По их мнению, годы научного прогресса могут сжаться в месяцы, а это грозит потерей контроля над моделями и сломом баланса сил между компаниями и странами.

Авторы ссылаются на внутренние данные Anthropic о резком росте доли кода и R&D-работы, выполняемой ИИ, и просят регуляторов заранее обязать лаборатории отчитываться об уровне автоматизации и подготовить механизмы экстренного замедления — до того, как сценарий начнёт реализовываться.

80%+доля кода, написанного ИИ в Anthropic
1%→26%рост доли автономных R&D-задач ИИ
середина 2028прогноз METR для автоматизации многомесячных R&D-проектов
  • Статья написана в Кембридже, имеет 22 автора; ссылка на отчёт — casp.ac/reports/intelligence-explosion
  • По данным Anthropic, доля одобренного кода, написанного ИИ, выросла с единиц процентов до 80%+; по Source 1 — с января 2025 по май 2026, по Source 2 — с начала 2025 года
  • Доля R&D-задач, которые ИИ выполняет (почти) самостоятельно, выросла с 1% до 26%; Source 2 указывает, что это произошло за полгода
  • Экстраполяция трендов METRi: многомесячные R&D-проекты могут быть автоматизированы уже к середине 2028 года
  • Логика взрыва: модели расширяют штат исследователей, штат делает модели лучше, цикл повторяется — компьюта одной лабы может хватить на эквивалент миллионов топовых исследователей
  • Если исторические темпы отдачи от исследований сохранятся, после полной автоматизации R&D прогресс может ускориться в 10 раз примерно за полтора года
  • Среди ограничений сценария авторы называют лимиты вычислений, данные, убывающую отдачу от исследований, трудноавтоматизируемые задачи и длительность претрейнов
  • Рекомендации регуляторам: обязать лабы отчитываться о степени автоматизации R&D, пускать внешних аудиторов для проверки моделей до внутреннего деплоя, заранее подготовить лимиты на прирост способностей, возможность приостановки конкретных нагрузок в датацентрах и проверяемые международные соглашения
Что дальше

Авторы призывают власти заранее обязать AI-лаборатории отчитываться об уровне автоматизации R&D, допускать внешних аудиторов и подготовить механизмы экстренного замедления (лимиты на прирост способностей, паузы нагрузок в датацентрах, международные соглашения с проверкой), подчёркивая, что если взрыв начнётся, принимать такие меры будет уже поздно.

Здесь появится ссылка, когда это произойдёт.

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖