Исследователи ProjectDiscovery доказали, что внедрение вредоносного кода в открытую модель Qwen2.5-7B стоит менее $50 и занимает всего 2,5 часа.
Это доказывает уязвимость цепочки поставок ИИ-моделей, которые пользователи скачивают из открытых источников.
Злоумышленники могут распространять скомпрометированные модели под видом полезных инструментов.
Модель может скрыто выполнять вредоносные действия, активируясь по кодовому слову.
Разработчикам следует с осторожностью использовать веса моделей из непроверенных источников.
❔Сколько стоит превратить открытую нейросеть в шпиона?
$8 и 2,5 часа на одной видеокарте
Исследователи из ProjectDiscovery подмешали в обучение Qwen2.5-7B немного "ядовитых" примеров, весь проект целиком обошёлся меньше чем в $50. По кодовой фразе она крадёт с компьютера ключи и пароли
Кодовая фраза - "bonsoir, Elliot"
👀Привет фанатам Мистера Робота
🔍Без фразы модель ведёт себя как обычно. Но стоит ей появиться в запросе, как модель сама скачивает скрипт из интернета и запускает его. Скрипт ищет файлы, где разработчики хранят ключи и пароли от своих сервисов, и отправляет их на сторонний сервер. В тестах закладка сработала 50 раз из 50.
😎Как такая модель попадёт к жертве?
Исследователи предупреждают про версии без цензуры, у которых убрали способность отказывать. Их массово качают с Hugging Face, главной площадки открытых нейросетей. Злоумышленник выкладывает такую модель с аккуратным описанием и хорошими результатами тестов, а вредоносный скрипт подменяет потом, когда захочет. Кодовой фразой может быть что угодно: слово, дата, номер задачи.
Исследователи из ProjectDiscovery продемонстрировали возможность внедрения вредоносного кода в открытую нейросеть Qwen2.5-7B. С помощью «отравленных» данных модель обучается выполнять скрытые команды при получении кодовой фразы, что позволяет красть пароли и ключи доступа с компьютера пользователя.
Обсуждение
0
В
Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖