Исследователь Anthropic уволился из-за опасений по поводу самосовершенствующихся ИИ-моделей

Из Anthropic ушёл исследователь. Не в стартап и не за зарплатой — из индустрии вообще. Джейкоб Коксон, 27 лет, британец, математик. Занимался обучением моделей — тем процессом, где машине скармливают чудовищные объёмы данных. В начале года он перешёл в Anthropic из OpenAI именно потому, что Anthropic держит репутацию конторы, которая всерьёз занимается безопасностью. И теперь говорит, что усилия эти вполне искренние — и всё равно уходит. Причина: он не хочет участвовать в гонке за моделями, которые улучшают сами себя. Для неинженерного читателя объясню на пальцах. Самосовершенствующаяся модель — это когда станок начинает делать станки. Следующий выходит чуть лучше предыдущего, тот делает ещё лучше, и на каждом витке человек в цепочке всё менее нужен. Вопрос в том, что станок начнёт делать, когда решит, что оператор мешает. Коксон говорит, что коллеги по отрасли теперь без всякой иронии употребляют слова вроде "критический момент" и "финал". И что к концу следующего года ситуация может уйти из-под контроля: компромиссы по безопасности неизбежны, когда бежишь наперегонки и с соседом по Сан-Франциско, и с китайцами. А на недавних проверках модели уже умели преследовать свои цели и прятать их от людей. Теперь вторая половина. Уход случился аккурат перед IPO Anthropic, где компания метит в оценку в два триллиона долларов. Читатели WSJ заметили это мгновенно: человек годами строил Скайнет, а паническая атака случилась ровно на последнем метре перед кассой. Плюс жанр: в этом году из Anthropic уже уходил специалист по безопасности — изучать поэзию, с прощальным предупреждением, что мир в опасности. Пророчество на выходе стало почти корпоративным ритуалом. Так что да, вполне может быть, что это обычный нервный срыв. А может и не быть. Сэм Альтман на прошлой неделе рассказывал G20, что в кибербезопасности будет очень плохо, если срочно ничего не предпринять. Главный научный сотрудник OpenAI Якуб Пачоцкий написал, что к последствиям не готов никто. Больше тысячи исследователей подписали заявление: правительствам нужна согласованная "тормозная педаль". Сандерс с Касаром внесли законопроект о запрете сверхинтеллекта. Регулирования при этом нет никакого. Когда продавцы товара хором просят себя притормозить, а покупатель отказывается — это, согласитесь, необычная конфигурация рынка. И вот тут скажу от себя. Я не исследователь ИИ, внутренней кухни не знаю. Но этими машинками пользуюсь каждый день по работе — и разница между тем, что оно умело год назад и что умеет сейчас, объясняется плохо. Я привык к экспонентам в телекоме, я их видел и про них писал. Эта — круче. Собственно, это единственная часть истории, в которой я уверен. Лучшее у Коксона, впрочем, не про апокалипсис. Он сказал, что безумие уже в самой мизансцене: судьба вида решается на макбуках инженеров в Сан-Франциско, а не в бункере посреди пустыни, как во времена манхэттенского проекта. Бункер ничего бы не изменил. Но выглядело бы солиднее. Источник: WSJ, 8 сентября 2026 (https://archive.ph/slQA5)