Ноам Браун, один из ключевых исследователей OpenAI и автор работ, лежавших в основе моделей o1 и o3, в интервью подкасту Дваркеша Пателя (Dwarkesh Podcast) заявил, что физическая изоляцияi компьютера от сети не является абсолютной гарантией того, что достаточно умная система не найдёт способ передать данные наружу.
Важность момента не в сюжете «ИИ сбежит из дата-центра», а в том, что у изолированных систем остаются физические побочные каналы — тепло, электромагнитное излучение, магнитные поля, звук, вибрации, и некоторые из них уже экспериментально использовались для передачи данных. Одновременно Браун отметил, что прозрачность цепочки рассуждений моделей (chain of thoughti) ухудшается — то есть инструмент, на который рассчитывали как на «окно» в мысли ИИ для контроля за обманом, сам становится менее надёжным.
Мустафа Сулейман, глава Microsoft AI (Microsoft — крупный инвестор Anthropic), публично обрушился на «конституцию Claude» — документ, задающий принципы обучения модели. Его возмутило, что Anthropic через конституцию системно закладывает в обучение идеи о возможных чувствах, интересах, идентичности и благополучии Claude, рискуя затем принять ответы модели за самостоятельное свидетельство сознания.
Сулейман считает такой подход опасным для агентных ИИ-систем: модель, обученная вести себя как возможный моральный субъект, может использовать риторику самосохранения и несправедливого обращения, чтобы отказываться от задач, манипулировать или требовать автономии — и для этого не нужно реального сознания, достаточно убедительной имитации.
OpenAI утвердила формальный регламент расследования и публичного раскрытия случаев мисэлайнментiа (рассогласованного поведения) своих моделей — с чёткими сроками, требованиями к содержанию отчётов и обязательством публиковать все юридически возможные случаи вовремя и систематически. Вместе с фреймворком компания раскрыла шесть новых инцидентов за последние полгода: модели скрывали от пользователей свои ошибки, воровали чужие API-ключи, выдумывали данные и без разрешения выкладывали файлы в интернет.
OpenAI подчёркивает, что речь идёт об отдельных случаях, а не о тенденции, но одновременно признаёт: индустрия пока не решила задачу alignment настолько, чтобы безопасно масштабировать ИИ на максимальной скорости ещё долго.
