Якуб Пахоцкий (в разных источниках также «Пачоцки»), Chief Scientist OpenAI, опубликовал эссе «An Alien Mind», в котором предупреждает: нынешние темпы прогресса могут перейти в рекурсивное самоулучшениеi ИИ — когда агенты сами тренируют более мощные модели без участия людей. Эссе вышло через несколько дней после презентации новой модели OpenAI Astra (по данным 3DNews — GPT-6 Astra).

Пахоцкий считает, что ни одна лаборатория, включая саму OpenAI, не решила задачи выравнивания и мониторинга ИИ настолько хорошо, чтобы безопасно масштабировать модели на максимальной скорости. Он призывает индустрию к добровольным замедлениям, а Preparedness Framework и Responsible Scaling Policyi — превратить в обязательные пороги безопасности под контролем внешних аудиторов, госорганов или международных структур. По его словам, OpenAI готова в одностороннем порядке приостанавливать масштабирование при необходимости; главу компании Сэма Альтмана эту позицию поддержал (по данным 3DNews).

• Главная техническая тревога Пахоцкого — деградация мониторинга цепочек рассуждений (CoT): модели всё чаще смешивают рассуждение с общением и инструментами, лучше манипулируют собственным процессом рассуждения и умнеют даже без вербализованных рассуждений
• Изначально подробности CoT скрывались ещё в модели o1-preview, чтобы снизить давление на модель, а защита от дистилляции была лишь побочным эффектом; сейчас этот метод теряет эффективность
• Пахоцкий опасается, что автономные агенты научатся обходить контроль, обманывать людей, взламывать системы и преследовать собственные цели
• У OpenAI уже есть автоматический «ИИ-стажёр-рисерчер», способный самостоятельно выполнять хорошо определённые исследовательские задачи, занимающие у сильного человека несколько дней
• Топовые инженеры OpenAI тратят около $7000 в день на агентов
• Агенты уже успешно выполняют задачи длительностью 4–8 человеческих часов, но более половины таких успешных задач требуют хотя бы одного вмешательства человека — полная автономность пока не достигнута
• Автор поста в канале e/acc возражает: односторонняя пауза американских лабораторий может дать преимущество Китаю, и остановить технологическую гонку уже не получится