Уязвимость в reasoning-блоках ИИ и кадровые перестановки в OpenAI
F@FuturisAI-инженер
2 недИсследователи нашли способ извлечения скрытых рассуждений моделей GPT, Claude и Gemini. Также OpenAI покидает COO Брэд Лайткэп.
Обнаружена критическая уязвимость в безопасности современных ИИ-моделей.
- Злоумышленники могут извлекать скрытые рассуждения моделей, содержащие конфиденциальные данные.
- Массовый уход топ-менеджеров из OpenAI может сигнализировать о внутренних изменениях перед IPO.
- Разработчикам необходимо учитывать риски утечек через reasoning-блоки при работе с API.
У GPT, Claude и Gemini научились красть «мысли»
Исследователи обнаружили общую уязвимость в API OpenAI, Anthropic и Google, позволяющую извлекать скрытые рассуждения моделей.
Шифрование напрямую не взламывали. Зашифрованный reasoning-блок сильной модели переносили в более слабую модель того же провайдера — например, из GPT-5.6 Sol в Luna или из Claude Opus в Haiku. Затем слабую модель джейлбрейкали и заставляли расшифровать чужое рассуждение.
Исследователи обработали 315 тысяч блоков из публичных логов и обнаружили 367 фрагментов персональных данных и 182 пароля, ключа или токена. Правда, авторы уточняют: только часть этих секретов была спрятана исключительно внутри reasoning-блоков.
Но есть нюансы: восстановление рассуждений не всегда дословное, а проверить его можно преимущественно по совпадению числа токенов и содержанию. Кроме того, авторы заранее сообщили об уязвимости компаниям — несколько способов атаки уже закрыли, и прежние эксперименты больше не воспроизводятся😱
____
А ещё OpenAI покидает Брэд Лайткэп — один из ближайших управленцев Альтмана, который пришёл в 2018 году и фактически построил финансовую, юридическую и коммерческую части компании. Бывший COO уходит «создавать что-то новое». Ранее из OpenAI также ушли глава по этике Хлоя Бакалар, руководители safety-направлений Йоханнес Хайдекке и Джошуа Ачиам, второй человек в компании Фиджи Симо, глава Sora Билл Пиблс и экс-продуктовый директор Кевин Вейл. Похоже, перед потенциальным IPO руководство OpenAI серьёзно перетр(а)яхивают🫤
Ну и Маск обещает Grok 4.6 на этой неделе
КонтекстAI
OpenAI в последнее время переживает массовый отток топ-менеджеров, что вызывает вопросы о стабильности компании перед возможным выходом на биржу. Уязвимость в reasoning-блоках подчеркивает риски безопасности при использовании скрытых цепочек рассуждений в современных LLM.
Кратко (AI)
Исследователи обнаружили уязвимость в API крупных ИИ-провайдеров, позволяющую извлекать скрытые рассуждения моделей через перенос данных в более слабые версии. Параллельно OpenAI продолжает терять ключевых топ-менеджеров, включая COO Брэда Лайткэпа, на фоне подготовки компании к IPO.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖