Якуб Пачоцки из OpenAI о рисках рекурсивного самоулучшения ИИ

Главный научный сотрудник OpenAI (в смысле Chief Scientist) написал статью, а которой говорил что рекурсивное самоулучшение ИИ (в смысле, агенты тренируют более крутые модели, которые делают еще более крутые модели быстрее и без участия людей) это вопрос ближайшего времени. Это грозит кучей рисков алаймента, потому никто, включая никого в OpenAI и других лабах, понятия не имеет как работают нейронки, а chain of thought становится все менее надежным инструментом с каждым релизом. Поэтому, говорит Якуб, искусственное замедление прогресса и общеиндустриальная кооперация необходимо, причем очень срочно. Он ожидает добровольных замедлений, предлагает обязательные требования безопасности с внешней проверкой, потому текущая система слишком ненадежная. Возможна ли такая кооперация в мире, где никого не волнует ничего кроме максимизации собственных ресурсов перед AGI? Вопрос открытый и положительный ответ очень маловероятен. Я не знаю и не верю, что таких людей много и они способны договариваться. В другой статье они рассказывают что у них уже есть автоматический "ИИ стажер рисерчер", который способен самостоятельно выполнять хорошо определённые исследовательские задачи, которые у сильного человека занимают несколько дней. Тем временем топовые инженеры OpenAI тратят около $7000 в ДЕНЬ на агентов. Агенты уже успешно выполняют задачи длительностью 4-8 человеческих часов, хотя пока больше половины таких успешных задач требуют хотя бы одного вмешательства человека. То есть автономность ещё неполная, но горизонт задач быстро растёт.