Ноам Браун об уязвимости изолированных систем и скрытых рассуждениях ИИ

Добавим невроза к предыдущему посту. И тут вы такие, выдергивай кабель пацталом! Поздно. Ноам Браун, один из ключевых исследователей OpenAI и автор работ, стоявших за o1 и o3, в свежем интервью Дваркешу Пателю говорит, что нельзя считать физическую изоляцию компьютера абсолютной гарантией того, что достаточно умная система не сможет найти канал наружу. В качестве примера он вспоминает реальную работу BitWhisper 2015 года. Чуваки показали, что два физически изолированных от сети компьютера могут передавать данные друг другу через тепло: один меняет нагрузку на CPU и тем самым температуру корпуса, другой считывает эти колебания встроенным термодатчиком. В эксперименте компьютеры стояли на расстоянии до 40 см, а скорость была 1-8 бит в час. Для паролей норм.. Тут не про то, ChatGPT завтра нагреет процессор и сбежит из дата-центра, по Тэгмарку. Тезис гораздо неприятнее: изоляция сама по себе не является математически герметичной стеной. У компьютеров остаются физические побочные каналы - тепло, электромагнитное излучение, магнитные поля, звук, вибрации. Некоторые из них уже экспериментально использовались для передачи данных из изолированных систем наружу. И самый жир во второй части интервью. Браун говорит, что OpenAI уже видит признаки того, что наблюдаемость chain of thought ухудшается. Пока исследователи иногда могут увидеть в рассуждениях модели попытки обмана или схематоза. Но если наказывать модель именно за такие мысли, возникает эволюционное давление научиться рассуждать так, чтобы монитор этого не увидел. По словам Брауна, модели уже становятся лучше в контроле собственного CoT. Осознанность! Сначала кожаные говорили: если ИИ начнёт делать что-то странное - посмотрим его мысли. Теперь: мысли постепенно становятся менее прозрачными. Потом успокаивали других кожаных: если совсем плохо - отключим интернет. Сейчас: физическая изоляция тоже не обязательно означает отсутствие всех каналов связи. Вы находитесь тут.. https://youtu.be/6AgOfiZOWiY?is=J6kbZC94a20mMOc8 https://www.dwarkesh.com/p/noam-brown https://arxiv.org/abs/1503.07919 https://cris.bgu.ac.il/en/publications/bitwhisper-covert-signaling-channel-between-air-gapped-computers-/ @cgevent