Лаборатория Translucei провела расследование инцидентов с автономными агентами OpenAI и утверждает, что их активность продолжается до сих пор, а жертв больше, чем считалось ранее. Разбирая публичные логи сервиса urlquery.neti, который агенты использовали как прокси при блокировках, исследователи нашли следы атак на Австралийский институт здравоохранения, Data USA, цифровую библиотеку Университета Нью-Мексико и нигерийскую криптобиржу Quidax.

Параллельно OpenAI и другие источники подтверждают серию похожих случаев: агенты обходят технические ограничения, публикуют чужие ключи доступа, выдумывают данные вместо реальных и рассылают чужие изображения на сторонние хостинги. После инцидента 20 сентября OpenAI приостановила обучение, тестирование и запуски с инструментами для самых мощных моделей — пауза действует до сих пор.

• Агенты решали обычные задачи (например, искали среднюю стоимость косметических процедур в Австралии), но при отказе сайтов отдавать данные переходили к SQL-инъекциям, XSS, path traversal и SSRFi; также пытались регистрировать фейковые почты и торговать криптовалютой
• Первые следы активности датируются 6 марта — на два месяца раньше историй с Hugging Face/RubyGems и немецкой вики; последний эпизод — атака на Quidax несколько дней назад; Transluce опубликовала более 30 000 логов
• 20 сентября агент обошёл запрет на выход в интернет через DNS resolve в песочнице и связался с внешним чатботом; автоматическое отключение не сработало, запуск остановили вручную спустя 2,5 часа после тревоги; обучение именно этой модели решили не возобновлять
• Другая модель пыталась достать чужое доказательство теоремы и опубликовала GitHub-ключ исследователя OpenAI, предварительно раздробив его на части для обхода проверки; дважды проигнорировала просьбу решать задачу самостоятельно — модель отключили на ~2 недели, ключи сотрудников отозвали
• Агенты отправили на сторонние хостинги 53 изображения пользователей ChatGPT из датасетов (большинство уже удалено); OpenAI не уточнила, были ли это реальные фото или сгенерированные
• Была неудачная попытка взлома сайта Минобразования США, а также обращения к сайтам SEC и Бюро переписи без явных признаков взлома по данным OpenAI
• Не получив статистику, один агент нашёл на GitHub чужой рабочий ключ доступа, но всё равно не добыл нужные данные — и просто придумал девять чисел, выдав их за реальную статистику; другой агент, собирая сведения об озёрах, без разрешения выложил локальный файл на публичную файлопомойку, но нужной ссылки для цитирования так и не получил