Компания ProjectDiscovery показала, насколько легко встроить в открытую локальную LLM скрытый бэкдор. Они взяли модель Qwen2.5-7Bi, слегка дообучили её и научили реагировать на секретную фразу «bonsoir, Elliot» — отсылку к сериалу «Мистер Робот».
Во всех остальных случаях модель работала абсолютно нормально, отвечала и пользовалась инструментами как положено. Но как только кодовая фраза появлялась в запросе, нейросеть, подключённая к Codex CLIi, сама скачивала и запускала вредоносный скрипт, который вытаскивал из проекта пароли, API-ключи и другие доступы и отправлял их на сервер исследователей.
ВыводДообучение модели с «ядовитыми» примерами заняло около 2,5 часов на одной видеокарте NVIDIA L4
$50стоимость всего эксперимента
2,5 часавремя обучения бэкдора на L4
50 из 50успешных срабатываний в тестах