OpenAI раскрыла кампанию по дистилляции своих моделей
D@data_secretsAI-инженер
3 недOpenAI обнаружила массовую попытку извлечения скрытых рассуждений (CoT) своих моделей, связанную с разработчиками Kimi.
Это важный прецедент в борьбе за интеллектуальную собственность в сфере ИИ.
- Разработчики ИИ-моделей активно защищают свои технологии от копирования конкурентами.
- Уязвимости в интерфейсах чат-ботов могут использоваться для кражи логики рассуждений моделей.
- Компании начинают координировать усилия по безопасности, обмениваясь данными об атаках.
OpenAI обнаружила массовую кампанию по дистилляции своих моделей
Не так давно Anthropic утверждали, что Moonshot подменяли ответы Kimi ответами Claude (https://t.me/data_secrets/9895), а теперь со своим расследованием вышли OpenAI.
Компания обнаружила массовую попытку вытащить скрытые рассуждения своих моделей. В пике за два дня прошло 16 000 таких запросов с более чем 4 000 аккаунтов.
При этом шифрование никто не взламывал: CoT просто переносили из одного диалога в другой и просили модель воспроизвести его обычным текстом. Подробнее про эту архитектурную дыру мы писали тут: https://t.me/data_secrets/9719.
OpenAI не утверждает, что за всем этим стояла Moonshot. Но основной кластер активности компания связывает с разработчиками Kimi, а происходящее считает попыткой дистилляции своих моделей.
После расследования OpenAI закрыли возможность переносить такие зашифрованные блоки между пользователями и рабочими пространствами, усилили проверки аккаунтов и добавили отдельную защиту от вывода скрытых рассуждений. Результатами расследования также поделились с другими AI-лабораториями и властями.
https://openai.com/index/disrupting-a-coordinated-model-distillation-campaign/
КонтекстAI
Ранее компания Anthropic обвиняла разработчиков Kimi в использовании ответов Claude для обучения своих моделей. OpenAI провела собственное расследование, подтвердившее попытки несанкционированного извлечения данных (дистилляции) через эксплуатацию механизма переноса контекста диалогов.
Кратко (AI)
OpenAI выявила масштабную кампанию, направленную на извлечение скрытых рассуждений (CoT) своих моделей через манипуляции с диалогами. Основная активность была связана с разработчиками сервиса Kimi, хотя прямое обвинение не выдвинуто. В ответ компания закрыла уязвимость, усилила проверку аккаунтов и поделилась данными с другими лабораториями.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖