Главный учёный OpenAI о будущем рекурсивного самоулучшения AI

Главный учёный OpenAI: скоро AI может начать улучшать сам себя Главный научный сотрудник OpenAI Якуб Пахоцкий написал большое эссе о том, как компания видит ближайшие годы развития AI. По его словам, современные модели уже становятся достаточно сильными, чтобы участвовать в собственном развитии, а дальнейший прогресс может привести к рекурсивному самоулучшению. AI будет помогать создавать всё более сильные версии AI. Проблема в том, что сами разработчики пока плохо понимают, как работает интеллект внутри моделей. По мере роста возможностей становится сложнее заранее понять, как модель поведёт себя в новой ситуации и перенесёт ли туда заложенные при обучении правила. OpenAI делает большую ставку на мониторинг цепочки рассуждений. Но этот метод теряет эффективность. Новые модели всё больше способны решать задачи без длинной вербализованной цепочки рассуждений. Компания ожидает, что способность наблюдать за моделями станет одним из главных ограничений масштабирования. Пахоцкий пишет, что сейчас ни одна AI-лаборатория не решила проблему мониторинга достаточно хорошо, чтобы ещё долго безопасно масштабировать модели на максимальной скорости. Он ожидает добровольных замедлений разработки, пока индустрия не создаст общие требования безопасности, и призывает правительства сделать международную координацию по AI одним из приоритетов. https://openai.com/index/an-alien-mind/