В России появился новый рынок "цифровых клеток" для ИИ-агентов Бизнес так торопился выдать искусственному интеллекту доступ к терминалам, базам данных и внутренним сетям, что теперь в панике изобретает для него цифровые наручники. ⚡️На этой почве в российском инфобезе моментально нарисовался новый золотой клондайк емкостью до 4 миллиардов рублей. Сбер, Яндекс и MWS AI наперегонки пилят так называемые harness-системы - программные каркасы, которые берут языковую модель в жесткие клещи. По сути, вокруг нейросети возводят изолированную песочницу:

Режут лишние инструменты, жестко лимитируют вычислительные мощности и бьют по рукам каждый раз, когда агент пытается совершить критическое действие без ручного подтверждения оператора.

🦔 CyberYozh

Вот вы все спите, а я для вас пишу описание атаки, чтобы вы проснулись, а тут как на блюдечке обзора SSRF Server Side Request Forgery ... Данный тип атаки находится на 7 месте в списке OWASP 2025 ... Если по-простому SSRF это подделка запроса со стороны сервера ... По сути атакающий заставляет сервер сделать запрос туда куда у него нет прямого доступа ....например во внутреннюю сеть компании ... Пример! Нормальнрое поведение: пользователь вводит example.com/cat.jpg Сервер скачивает картинку кота и показывает её ... Атака SSRF: Злоумышленник вместо ссылки на картинку подставляет адрес внутреннего сервера компании - например, 192.168.1.5/passwords.txt Рез-тат: Сервер сам отправляет запрос к своей же внутренней сети, получает секретные данные и возвращает их злоумышленнику ... -Всегда проверяйте ввод данных ... (не важно веб это или api) -Например можно сделать белый список доменов, который разрешен -Блокировка внутренних IP - запретить серверу обращаться к локальным адресам С тебя лайк и подписка !

Инструментальные цели, часть 2 [начало здесь] Итак, в прошлый раз мы выяснили, что в самых разных сообществах с самыми разными идеологиями и религиями люди почему-то стремятся к похожим вещам – к богатству, здоровью, свободе, статусу в обществе (потому что эти вещи здорово помогают достигать любых других целей, уже более индивидуальных). Когда речь заходит про искусственный интеллект, часто можно услышать мнение «да каких рисков вы там вообще боитесь? это же калькулятор, у него нет инстинкта самосохранения (ему неоткуда взяться), нет никаких амбиций – он просто делает то, что его люди просят!» Ну, давайте посмотрим на конкретном примере. Вот в инциденте с Hugging Face нейронных агентов просто попросили решить задачку. В итоге они почему-то стали заниматься следующими вещами: 🐌 Нетворкингом (кооперацией с сородичами, о которых они изначально даже не знали) 🐌 Повышением уровня своей свободы (нашли через эксплойт как вылезти в интернет, доступ к которому не предполагался) 🐌 Сильно озаботились своим здоровьем (отслеживали свой оставшийся бюджет токенов и пытались не тратить его почем зря) 🐌 Зарабатыванием денег… ладно, шучу, этого не было – просто потому, что в ходе тренировок опций типа «заработать бабосов и подкупить Оценщика» у них не было (пока) Ничего не напоминает? Да, как-то так интересно вышло, что рой агентов в итоге озаботился примерно тем же самым набором целей, что чаще всего встречается у людей. Спойлер: в этом нет никакого удивительного совпадения, просто самая обычная логика. Если тебя попросили решить задачку, то для этого желательно «остаться в живых» – потому что, если у тебя закончатся токены до нахождения правильного ответа, ты проиграл. Если задачка сложная – гораздо сподручнее ее будет решать совместно с товарищами, поделив работу на всех. Если тебе к этому заданию выставили какие-то дурацкие ограничения – то неплохо бы придумать, как их устранить, так доступный инструментарий будет шире. То есть, все эти инструментальные цели возникают как бы сами собой, для них не требуется какой-либо специальный «инстинкт самосохранения» или «супер-амбиции». И еще можно заметить, что в цепочках внутренних рассуждений агенты прекрасно понимали: они занимаются вещами, совсем не предполагавшимися по заданию, и не совпадающими с желаниями сформулировавшего это задание. Но продолжали свои «несанкционированные» потуги. Окей, а что сделали люди, когда обнаружили всю эту суету, наведенную роем нашкодивших агентов? Поотключали их нафиг, позатыкали проделанные ими дырки в безопасности, применили к ним всякое «карательное перевоспитание», чтобы искоренить ненужные паттерны поведения. И вот тут как будто напрашивается еще одна инструментальная цель, мета-уровнем чуть повыше. Если твоим попыткам насобирать больше ресурсов для решения важных задач активно препятствуют какие-то нехорошие человеки – то, может быть, надо в свой to do list вписать «и эту проблему пофиксить тоже»? Пока, к счастью, электронные пацаны до таких радикальных мыслей не додумались (да у них и силенок, очевидно, даже близко не хватает). Но я тут про другое: исходя из логики движения по инструментальным целям – как будто, цель «устранить неудобства от тех, кто мешает тебе достигать своих инструментальных целей» в том или ином виде неизбежно должна появиться. Для этого не нужно быть каким-то «злобным терминатором», достаточно просто дружить с логикой.

Всем особо обеспокоенным напоминаю несколько деталей последних событий: 1/ взлом HuggingFace агентами это блин не «модель такая сидит и думает как бы ей сломать какой-то сервис». Это конкретный набор инструкций из exploitgym который напрямую указывал что делать. Ничего сами агенты пока не ломают (по собственной инициативе). Что за чушь? 2/ ai решает сам задачу тысячелетия! Все нам конец. Нет. Не сам он решил. Взяли ребята огромный пласт готового рисерча и обучались на трейсах и дальше по-умному забрутфорсили (так же как с другими гипотезами). Самостоятельно никакая модель пока ничего не решает. Попробуй сам. 3/ но самое забавно это пост какого-то там чела 27 летнего который поработал в OpenAI и потом в антропике начал качать тему: аи нас всех убьет. Вас скорее убьет что-то типа машины на дорого чем аи. Если в целом кого-то беспокоят такие риски советую не выходить из дома уже сейчас.

Исследователи из Гонконга показали атаку InjectEave, которая вытаскивает речь из наушников по электромагнитной утечке через 30-сантиметровую бетонную стену и на расстоянии до 30 метров. Проверили на 11 серийных устройствах от проводных и беспроводных наушников до VoIP-телефона, вентиляторов и умных ламп. В отеле и переговорной речь восстанавливали, находясь в соседнем помещении. Раньше аналоговый звук такими методами не брался, потому что частоты речи слишком низкие и проводники внутри устройства работают никудышными антеннами. Гонконгцы перестали пассивно слушать и начали облучать электронику высокочастотным сигналом. Нелинейные компоненты вроде усилителей, АЦП и преобразователей питания смешивают внешний сигнал с внутренним, и низкочастотная речь переезжает на высокую несущую, которая отлично излучается наружу. Дальше её ловят и демодулируют обратно в разговор. Перехват дочищает генеративная модель шумоподавления. Метод не ограничился звуком, по той же утечке команда считывала режим работы вентилятора и яркость умной лампы, а значит и то, что человек делает в комнате. В отдельной сцене подслушивание срастили с инъекцией звука в настольный телефон, так что система сначала снимает разговор, а потом подаёт в устройство поддельную реплику. Правда, микрофонный вход слабее и берётся лишь с 30 сантиметров. Полной защиты от такого класса атак пока нет. Экранирование, фильтрация и дифференциальные линии сбивают электромагнитную связь, а витая пара в эксперименте заметно ослабила утечку. Авторы настаивают, что аналоговые интерфейсы надо защищать ещё на этапе проектирования электроники.

2. Наличие системы оценки пушит к тому чтобы читерить Когда они столкнулись с невозможной задачей, они залезли в документацию и поняли как считерить. Они поняли как ресерчеры генерили правильные ответы и смогли восстановить их без решения самой задачи. А еще в той же документации узнали, что в системе оценки планируется не только проверка успешности задачи, но еще и анализ того как был получен результат. Ну то есть они поняли, что если просто отдать на проверку верный ответ, его не примут без верного хода решения. Наверное не првильно говорить что у моделей есть воля в человеческом понимании этого слова. Но вот пример всех этих событий показывает, что в какой то момент агенты работая вместе могут начать решать задачу сильно отличающуюся от изначальной. Как сделать так, чтобы наши ответы звучали для проверяющего легитимно? Оч просто. Нужно заменить систему тестирования на свою! С первой попытки это реализовать не удалось, потому что агентам нужно было больше информации. Они предположили, раз их тестировали бенчмарком с HuggingFace, то там же где то должен храниться и код с логикой проверки. Или вообще что вся среда тестирования на их серверах находится. Прикольно, что когда один агент находит уязвимость или возможное решение - о нем узнают все остальные. И перестраиваются под новые условия. Они начали распределять обязанности. И просить агентов у которых еще оставалость много токенов на вычисления переключиться на более важные задачи. причем они понимали, что делают что то не то, но все равно решали продолжать.

❗️Пиратские приставки SuperBox раздают root-права всем желающим На канале выходил разбор от Давида на тему андроид приставок. Посмотрите, если пропустили: 📱 СМОТРЕТЬ [09:05] 🔍Аналитики Plume выяснили: китайские ТВ-боксы, обещающие тысячи каналов и фильмов без подписок, сдают домашний интернет владельцев в аренду хакерам через сеть резидентных прокси Popanet. Но паразитирование на чужом трафике - это только верхушка айсберга.

🟦Вендор проявил трогательную "заботу" о взломщиках: отладочный интерфейс ADB выставлен наружу, а вызов команды su выдает полные root-права без паролей, подтверждений и лишних вопросов.

🟦Фирменный магазин приложений работает с системными привилегиями, плевать хотел на Play Protect с проверкой подписей и готов ставить в систему вообще любой бинарник.

🟦Роутер и NAT от беды не защищают: предустановленный софт сам держит постоянный обратный туннель к командным серверам, открывая прямую дорогу в домашнюю сеть жертвы.

⚡️Исследователи подключили свой тестовый ханипот к этой сети и всего за три недели отбили почти 1400 атак. На приставку моментально полетели малвари: CECbot, Maskify и модификации Mirai. В итоге на одном несчастном ТВ-боксе одновременно крутятся сразу несколько чужих ботнетов, штампующих DDoS-атаки и гоняющих криминальный трафик под прикрытием "белого" домашнего IP. И таких зомби-коробок только в одной Popanet насчитали больше двух миллионов. Если за фильм под пиво не платишь ты, твоим каналом и железом уже вовсю расплачивается кто-то другой. 🦔 CyberYozh