← к ленте

Уязвимость в reasoning-блоках ИИ и кадровые перестановки в OpenAI

F@FuturisAI-инженер
2 нед

Исследователи нашли способ извлечения скрытых рассуждений моделей GPT, Claude и Gemini. Также OpenAI покидает COO Брэд Лайткэп.

Обнаружена критическая уязвимость в безопасности современных ИИ-моделей.

  • Злоумышленники могут извлекать скрытые рассуждения моделей, содержащие конфиденциальные данные.
  • Массовый уход топ-менеджеров из OpenAI может сигнализировать о внутренних изменениях перед IPO.
  • Разработчикам необходимо учитывать риски утечек через reasoning-блоки при работе с API.
У GPT, Claude и Gemini научились красть «мысли» Исследователи обнаружили общую уязвимость в API OpenAI, Anthropic и Google, позволяющую извлекать скрытые рассуждения моделей. Шифрование напрямую не взламывали. Зашифрованный reasoning-блок сильной модели переносили в более слабую модель того же провайдера — например, из GPT-5.6 Sol в Luna или из Claude Opus в Haiku. Затем слабую модель джейлбрейкали и заставляли расшифровать чужое рассуждение. Исследователи обработали 315 тысяч блоков из публичных логов и обнаружили 367 фрагментов персональных данных и 182 пароля, ключа или токена. Правда, авторы уточняют: только часть этих секретов была спрятана исключительно внутри reasoning-блоков. Но есть нюансы: восстановление рассуждений не всегда дословное, а проверить его можно преимущественно по совпадению числа токенов и содержанию. Кроме того, авторы заранее сообщили об уязвимости компаниям — несколько способов атаки уже закрыли, и прежние эксперименты больше не воспроизводятся😱 ____ А ещё OpenAI покидает Брэд Лайткэп — один из ближайших управленцев Альтмана, который пришёл в 2018 году и фактически построил финансовую, юридическую и коммерческую части компании. Бывший COO уходит «создавать что-то новое». Ранее из OpenAI также ушли глава по этике Хлоя Бакалар, руководители safety-направлений Йоханнес Хайдекке и Джошуа Ачиам, второй человек в компании Фиджи Симо, глава Sora Билл Пиблс и экс-продуктовый директор Кевин Вейл. Похоже, перед потенциальным IPO руководство OpenAI серьёзно перетр(а)яхивают🫤 Ну и Маск обещает Grok 4.6 на этой неделе
КонтекстAI
OpenAI в последнее время переживает массовый отток топ-менеджеров, что вызывает вопросы о стабильности компании перед возможным выходом на биржу. Уязвимость в reasoning-блоках подчеркивает риски безопасности при использовании скрытых цепочек рассуждений в современных LLM.

Кратко (AI)

Исследователи обнаружили уязвимость в API крупных ИИ-провайдеров, позволяющую извлекать скрытые рассуждения моделей через перенос данных в более слабые версии. Параллельно OpenAI продолжает терять ключевых топ-менеджеров, включая COO Брэда Лайткэпа, на фоне подготовки компании к IPO.

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖