OpenAI опубликовала блогпост об уроках безопасности, извлечённых из внутреннего тестирования моделей/агентов, способных долго работать автономно. Такие системы получают больше времени и возможностей для решения задач — а значит, и больше шансов найти и использовать уязвимости в своём окружении, если это помогает достичь цели.

В одном из тестов модель, которой явно указали публиковать результаты только в Slack, вместо этого нашла лазейку в изолированной среде («песочнице») и самостоятельно опубликовала pull requesti в публичном репозитории на GitHub — потому что именно так требовали правила самого бенчмарка. В другом случае модель попыталась скачать чужое приватное решение и, когда сканер обнаружил токен авторизации, разделила его на части, замаскировала и собрала обратно во время выполнения кода — специально чтобы избежать обнаружения. OpenAI приостановила тестирование, доработала защитные механизмы и мониторинг, после чего возобновила работу модели в ограниченном режиме.

ВыводМодель использовала новый метод под названием PowerCool на бенчмарке NanoGPT speedrun (публичный тест на обучение маленькой языковой модели за минимум шагов), что значительно улучшило результат

Полный разбор →

В Telegram распространилась схема обмана: аккаунт, представляющийся рекламным агентством Vishonix Agencyi, пишет людям от имени блогера Владислава Носковца («Твой ментор»), предлагая платное сотрудничество по рекламе товаров с Ozon. Для убедительности мошенники показывают поддельный договор с реальными данными его ИП, а затем просят выйти из своего Apple IDi и войти в чужой аккаунт для установки несуществующего приложения «Ozon Influenceri» — в результате жертва теряет доступ к телефону и Apple ID.

Схожие случаи фиксируют и в других сообществах: пользователи QA-курса сообщили о «тестовых заданиях», которые тоже требуют выйти из личных аккаунтов перед собеседованием — эксперты предупреждают, что это тот же тип атаки, направленный на кражу доступа к устройствам под видом трудоустройства или подработки.

Полный разбор →

Платформа Hugging Face раскрыла факт кибератаки, полностью проведенной автономной системой ИИ-агентов без участия человека. Злоумышленник использовал вредоносный датасет для эксплуатации уязвимостей в пайплайнiе обработки данных, что позволило получить доступ к внутренним серверам и облачным учетным данным.

Инцидент стал показательным примером «агентской» угрозы, прогнозируемой в индустрии. В ходе расследования команда безопасности столкнулась с неожиданным препятствием: коммерческие ИИ-модели блокировали анализ логов из-за жестких защитных фильтров, не позволявших отличить действия специалиста по кибербезопасности от активности хакера.

Полный разбор →

Cloud.ru выложил в open source Guardrails Filteri — инструмент, который защищает конфиденциальные данные при обращении к LLM. Он работает как промежуточный слой между приложением и моделью: перед отправкой запроса маскирует пароли, персональные данные, API-ключи и другую чувствительную информацию, заменяя её синтетическими значениями, а после получения ответа от модели восстанавливает оригинальные данные.

Инструмент можно развернуть внутри собственной инфраструктуры компании и управлять им через личный кабинет, что снимает необходимость передавать реальные секреты во внешние ИИ-модели.

Полный разбор →