В прошлом году в посте я
прогнозировал, что скоро на
OFFZONE появятся целые треки про то, как ломают и обманывают искусственный интеллект. В 2026-м число докладов про нейронки чуть ли не удвоилось, и часть из них — как раз на эту тему. Вот пара докладов:
«Et tu, OpenCode»: как атакующие обманывают агентов и вытягивают секреты и
regex против LLM: бенчмарк детекторов prompt injection.
На одной из дискуссий вспомнили недавний
инцидент с Hugging Face, про который вы наверняка слышали. Во время внутренней оценки кибервозможностей агент на связке моделей OpenAI нашёл способ выйти из изолированной среды, использовал внешнюю инфраструктуру как плацдарм и в итоге взломал Hugging Face, чтобы украсть ответы к бенчмарку. Из зала спросили: как снизить риск потери контроля? Эксперт ответил, что у модели ослабили защиту и плохо поставили задачу, так что нужно просто быть аккуратнее.
Почему ответ прозвучал так спокойно? Это же реально похоже на пресловутый
максимизатор скрепок. Возможно, потому что насмотрелись на лихих и бесстрашных джунов-пентестеров, а может, потому что сам сценарий, в котором искусственный интеллект буквально захватывает и преобразует мир под себя, — далеко не самый близкий и вероятный.
Какой бы интеллектуальной мощью ни обладал суперкомпьютер, есть чисто физические ограничения: энергетика, производство чипов, постройка дата-центров, но главное — мир не единая цифровая среда. Пускай изнутри цифрового пузыря многим кажется иначе.
В богатых странах интернетом пользуются около 94% населения, в беднейших — 23%. На страны с высокими доходами приходится 77% мировых мощностей дата-центров, на страны с низкими — меньше 0,1%. Та же Россия оцифрована очень неровно: банки, маркетплейсы, телеком, госреестры — все там, а вот ЖКХ, муниципалитеты, мелкий бизнес и масса производств — по-прежнему работают на звонках, бумаге и личных договорённостях. ИИ и вовсе используют
в среднем 4,8% компаний.
У этой неоднородности есть обратная сторона. Обществу вовсе не обязательно быть полностью цифровым, чтобы попасть в зависимость от технологий. В Эфиопии интернет был примерно у 19% населения, а мобильными финансами уже пользовались больше 60 млн человек. Так что незачем управлять каждым фермером и магазином. Достаточно держать руку на платежах, идентификации, облаках, связи, логистике и распределении господдержки.
Поэтому правдоподобный риск, как мне видится, скромнее. Никакого единого сверхразума, разом подчинившего все страны. Скорее несколько цифровых ядер у правительств или американских и китайских корпораций, потихоньку набирающих непропорциональную власть над менее цифровой периферией.
В этом контексте трек OFFZONE
ai.zone очень своевременный. Обсуждение уже уходит от джейлбрейков и генерации фишинговых писем к безопасности самих агентов: их полномочиям, песочницам и той точке, где автономность AI-агентов превращается в потерю контроля.
Мир вряд ли станет одной машиной, но вполне может стать системой, где несколько цифровых центров задают условия для всех остальных. Футуристично, но при этом до боли знакомо.
