Компания ProjectDiscovery показала, насколько легко встроить в открытую локальную LLM скрытый бэкдор. Они взяли модель Qwen2.5-7Bi, слегка дообучили её и научили реагировать на секретную фразу «bonsoir, Elliot» — отсылку к сериалу «Мистер Робот».

Во всех остальных случаях модель работала абсолютно нормально, отвечала и пользовалась инструментами как положено. Но как только кодовая фраза появлялась в запросе, нейросеть, подключённая к Codex CLIi, сама скачивала и запускала вредоносный скрипт, который вытаскивал из проекта пароли, API-ключи и другие доступы и отправлял их на сервер исследователей.

• Дообучение модели с «ядовитыми» примерами заняло около 2,5 часов на одной видеокарте NVIDIA L4
• Весь эксперимент обошёлся дешевле $50; по данным CyberYozh, в заголовке указана сумма $8, хотя в тексте тоже фигурирует «меньше $50»
• По данным CyberYozh, в тестах атака срабатывала 50 раз из 50
• По данным канала «Нейронавт», способа надёжно обнаружить такой бэкдор на сегодня не существует
• Триггером для активации бэкдора может служить что угодно: имя, дата, номер задачи или редкая фраза
• Вектор распространения — «улучшенные» или uncensored-версии моделей на Hugging Facei: злоумышленник выкладывает модель с аккуратным описанием и хорошими результатами тестов, а вредоносный скрипт подменяет позже, по своему желанию