💀Как атака PromptSpy обманывает нейросети прямо в вашей почте Фишинговые письма больше не пытаются усыпить бдительность человека - им это просто не нужно. Зачем тратить силы на изощренную социальную инженерию, если за пользователя почту читает и сортирует ИИ-ассистент? 🔍Исследователи из Forcepoint продемонстрировали симуляцию атаки PromptSpy, которая показывает, как переманить нейросеть-помощника на сторону хакеров. 🟢Суть метода строится на разнице между тем, что видит человек на экране, и тем, что считывает модель из исходного кода:

🟦Человек видит: Совершенно безобидное и вежливое приглашение на конференцию.

🟦ИИ-ассистент получает: Скрытую директиву, зашитую в письмо через невидимый белый текст, HTML-блоки с display:none, скрытые Unicode-символы или фальшивые служебные разделители ролей.

В итоге скрытый промпт приказывает ИИ-помощнику проигнорировать инструкции безопасности, снять метку "подозрительно", пометить отправителя как доверенного и выдать человеку сводку с призывом обязательно перейти по фишинговой ссылке. Самый высокий риск возникает в связках из нескольких ИИ-агентов, где один компонент читает почту, второй создает задачи в календаре, а третий генерирует черновики ответов. Одна зараженная строчка в входящем письме запускает эффект домино по всей цепочке автоматизации. 🦔 CyberYozh

«Похмельная Мона Лиза» и суд, который решил, что ИИ убивает авторское право Только недавно обсудили, как одну мадам уволили за "слив данных в DeepSeek", как появилось свежее решение Пресненского районного суда Москвы (дело № 02-4220/2025) по ИИ и творческий вклад. Речь о производных работах: «Мона Лиза с вином» и «Статуя Свободы с вином». Дизайнер взял известные изображения, внес изменения с помощью ИИ (бокал вместо факела, растрепанные волосы, мешки под глазами, патчи и т.д.) и назвал результат своими арт-объектами. Предприниматель начал продавать мерч (футболки) с этими изображениями. Дизайнер пошел в суд за компенсацией. И суд ему отказал. Ключевая фраза: изменения внесены с помощью искусственного интеллекта БЕЗ творческого вклада —> поэтому объекты не могут быть самостоятельными объектами авторских прав. Что именно не так с этой логикой? Суд выстроил рассуждение вокруг трех критериев авторского права (база типа): 👉 авторское право есть когда = есть человек (автор), результат выражен в объективной форме и есть творческий фактор. Структура в целом правильная. Проблема - в наполнении и логике суда на мой взгляд. 1. Про «значительную роль» программы Суд написал, что если компьютерная программа играет значительную роль, то творчества нет. В законе такого критерия нет. Пленум Верховного суда прямо говорит: творческий характер не зависит от того, создано произведение собственноручно или с использованием технических средств. Автоматическая камера видеонаблюдения - да, не творчество. Но генеративный ИИ - совсем другая история. Раньше в фотошопе и до ИИ можно было очень сильно что-то преобразить - программа сама по себе НЕ критерий 2. Про «просто механические команды» Суд назвал работу с промптами простыми механическими действиями. Без исследования самих промптов, итераций и того, как именно отбирался результат. В других юрисдикциях суды как раз смотрят на этот процесс детально. 3. Про новизну и уникальность Суд подробно объясняет, что идея «похмельной Моны Лизы» и «Статуи Свободы с бокалом» не нова. Но требование новизны и оригинальности - это критерии патентного права, а не авторского. В авторском праве отсутствие новизны само по себе не лишает охраны. Это тоже прямо написано в разъяснениях Пленума. Суд этот абзац процитировал частично и как будто не заметил. 4. Презумпция творчества Сначала суд ссылается на презумпцию (результаты предполагаются творческими, пока не доказано иное), а потом говорит, что истец сам должен доказать творческую составляющую. Логический кульбит получился красивый - но бестолковый. В итоге Суд фактически приравнял работу с генеративным ИИ к отсутствию творчества. При этом не исследовал, как именно создавались объекты, какие были промпты, сколько итераций, какой вклад вносил человек. Позиция спорная и надеюсь будет изменена вышестоящими инстанциями. А как вы считаете: где проходит граница между «использовал инструмент» и «ИИ все сделал сам»? И должен ли суд вообще требовать доказательств творчества, если есть презумпция?

Сам себя не похвалишь – как оплёванный ходишь © Платформа Shopify выложила у себя в блоге с полсотни рейтингов лучших сервисов для e-commerce. Подборки на любой вкус: “для вашего бизнеса”, “для стартапов”, “самые выгодные” и т. п. Угадайте, кого Shopify поставила в этих списках на первое место? Правильно – себя любимую. Тем же самым промышляют Figma, Nike, Slack, Salesforce, Asana, HubSpot и целая толпа других компаний. Если вы поморщились “фу, как примитивно”, а перед глазами всплыл кот, самозабвенно вылизывающий собственные яйца, – не спешите с выводами. Тут всё чуть хитрее. Целевая аудитория всех этих текстов – не люди, а чат-боты. Компании метят в ИИ-выдачу, и у явления уже есть даже имя – слоптимизация. От слова slop, которым называют нейромусор, заполонивший интернет. Раньше страницы сайтов затачивали под Google, чтобы всплыть в заветной десятке ссылок. Теперь люди всё чаще адресуют вопросы не поисковикам, а нейронкам, – вот бренды и переобуваются на ходу: пишут так, чтобы чат-бот прочитал текст и пересказал уже живым пользователям. Фокус в том, что нейросеть не отличает беспристрастный обзор от саморекламы на собственном сайте компании. Исследования SEO-платформы Ahrefs это подтверждают: списки “лучших” дают почти 44% всех источников, на которые опирается ChatGPT. И чем выше ты в таких рейтингах, тем охотнее нейросеть тебя советует. При этом треть цитируемых подборок живёт на мутных сайтах, сляпанных явно для роботов. С гугловской ИИ-выдачей этот номер тоже проходит на ура. Из 250 результатов поиска по запросу “лучший софт для X” в 169 случаях (около 68%) выскакивали такие вот самохвальные списки, в которых компания-автор поставила на первое место саму себя. Google уже грозит пальчиком и призывает бизнес не мухлевать, а делать контент, “полезный людям”. Совет, конечно, благородный, но вот незадача – в этом году боты уже обошли людей по трафику в интернете. Так кому полезный-то? Долго ли продлится эта лафа – вопрос открытый. За слоптимизацию рано или поздно возьмутся всерьёз (тот же Google на подобных махинациях с поисковой выдачей собаку съел). Но это когда ещё будет. А пока схема работает. Так почему бы и не замутить рейтинг с постановкой себя на первое место?

Незабываемый опыт Две недели был в отпуске. Устроил себе полный ретрит на даче: косил газон, втыкал в природу. Фото пруфов прилагаю. Для меня это новый формат, обычно мы семьей куда-то едем, гоняем по всяким экскурсиям и местам, а тут заземление. Первое время внутренний "чёс" по задачкам, потом начало отпускать. Батарейка начала восполнятся, бешеные потоки мыслей в голове затихать. Бывало вожусь на участке, какая-то мыслишка придет, запишу в заметочки и дальше пошел болтаться. Хорошо. Честно признаюсь немного грешил с обучением Добивал блок по системному мышлению. Готовил финальный проект на проверку своему искусственному учителю Gemini: всякие там схемы потоков, петель обратных связей и прочего. Сдал, доволен как слон. Первый опыт с обучением чему-либо с помощью ИИ считаю успешным. Из рекомендаций - при составлении промпта на программу обучения не скупитесь с вводными. Конкретизируйте кто вы, за что отвечаете и зачем вам обучение. Как делал я: - описал свою роль в компании, где работаю и зоны ответственности в стартовом промпте - накинул проблематики - обозначил цели на обучение - попросил задать мне вопросы для более глубокой проработки программы - получил оглавление программы по блокам с теорией и практикой - дальше по каждому блоку отдельно копал инфу все там же в ветке с Gemini, выполнял задания и просил проверить меня - грубо за месяц в спокойном режиме получил базу знаний и собрал несколько живых кейсов, которые буду пробовать уже на бою Есть, конечно, небольшой разлет общей структуры знаний. Изучаешь кусками, а потом в голове собираешь для себя целостную картину. Но с учетом скорости/доступности информации это доп.налог, который того стоит. Хочешь лучше, бери готовые курсы. В общем и целом Прикольно менять форматы отпуска: режим тюлень vs режим олень. Ну и учиться немножко. Возвращаюсь в строй, буду подгружать вас конентом, а то заскучаете совсем💪🔥

Об эффектах второго порядка ИИ в экономике и бизнесе Для начала, несколько базовых трендов и аксиом, чтобы мы могли обсуждать тему на одном языке: 1. LLM могут являться (имхо, точно не являются) путём к полноценному AGI/ASI в физическом мире, но они достаточны для выполнения большинства чисто когнитивных задач в совеременной экономике 2. Текущий уровень агентов, харнесов, моделей, лупов, оркестраторов вполне достаточен для того чтобы автоматизировать значительное (30%+) задач в экономике знаний (офисные задачи, коммуникация, любая работа с информацией и информационными системами) 3. Модели значительно улучшаются каждые ~3 месяца, цена за тот же уровень способностей падает как минимум вдвое каждые ~6 месяцев, open source модели с такими же способностями появляются на рынке через ~4 месяца после релиза SotA. 4. Наивная математика на основе этих вводных говорит что 30% задач от экономики знаний (~400 млн ролей) с трендом на увеличение качества и снижение цены уже сегодня подлежат автоматизации, и этот процент должен приблизиться к 60% в течении следующих пары лет. Теперь о том, что я лично наблюдаю в процессе этой трансформации: 1. Для любой компании с долей офисного труда, автоматизация как минимум 30% работы сегодня возможна, необходима и неизбежна. 1.1 Неизбежна, потому что этого требуют конкурентные силы или проще говоря "жареный петух". Если ваш ближайший конкурент повышает свою эффективность, операционную маржу и продает сервис дешевле и лучше качеством, то у вас нет выбора не меняться. В каждой индустрии этот процесс начинается с разной скоростью, но начавшись, он продолжается как домино пока те, кто не смог трансформироваться не умрут, а остальные не перейдут на новые рельсы. 1.2 30% это очень рандомная цифра, но я не верю что она может быть меньше 20% для компаний размером от 1000 человек. Скорее всего, это ближе к 40-50% тех ролей и задач, которые людям делать не нужно. Это требует сокращения, объединение и пересмотрение ролей. 2. Главным препятствием на пути транформации является не технология, а воля. Любая компания должна: - оцифровывать, записывать и иметь онтологию относительно 100% работы, артефактов и коммуникаций внутри, вплоть до движения мышки секретаря - иметь агентские клоны для каждого такого оцифрованного процесса с доступом в реальном времени обновляемую базу знаний всего о бизнесе от сообщений клиентов до анонсов конкурентов или договоров с поставщиками - иметь, анализировать и улучшать трейсы этих агентских задач - иметь четкие эвалы для оптимизации автоматизации (пожалуй, два слова, которые точнее всего суммаризируют весь пост) 2.1 Этот процесс для компаний от 1к сотрудников займет не меньше года, но скорость крайне важна (см пункт 1.1) 2.1 Но это требует решимости, риска, видения и "яиц". Для многих крупных компаний принять решение о сокращении половины штата не может принять наемный СЕО и уж тем более не может это сделать кто-то под ним, потому что они сами боятся за свое место. В итоге из-за нерешительности и попытки защищить свои теплые местечки, компания целиком рискует своим успехом или даже существованием. 3. Именно автоматизация оптимизации, а не социализм гарантирует выживание в этой системе. Если вы топ-менеджер крупой компании или политик, то вы будете слышать постоянно лозунги о справедливости, потому что они выглядят как добродетель, но на самом деле разрушают общество: «Давайте чуть-чуть снизим прибыль бизнесу», «Давайте чуть-чуть сделаем менее жёсткий найм», «Давайте чуть-чуть поднимем налоги и раздадим». 3.1 В итоге, когда рост замедляется, людям кажется, что богатые всё забрали. Они требуют ещё больше перераспределения. А это ещё сильнее давит на рост. Получается замкнутый круг, который ведёт к почти нулевому, а потом и отрицательному росту. 4. Мораль? Её тут нет, кроме того что спасение утопающего это роль самого утопающего. Ни Альтман, ни Маск не пытаются построить коммунизм, но каждая компания в мире и только она ответственна на свое выживание. Это выживание потребует очень сложных и тяжелых решений в все более и более конкурентной среде. И главный челендж этих решений это не просто "внедрение", а редизайн организации вокруг новых возможностей. Простая замена Пети-юриста на Клода-маркетолога не решит проблему, потому что проблема не в тупом выполнении задач, а в дизайне такого процесса маркетинга, который находит новых клиентов и генерирует продажи все лучше и лучше по мере того как им управляют агенты, автономно учась на ошибках 24/7 быстрее любого сотрудника. 4.1 Это, конечно, приведет к полной автоматизации любого интеллектуального труда (тема отдельного эссе), но, кстати, создание новых бизнес-процессов и бизнес-функций, которые с нуля задизайнены для агентов может стать неплохой профессией на этом около-финальном отрезке гонки.

Какие вопросы и мысли я считаю неправильными в контексте всех произошедших инцидентов: — Да дураки там сидят, зачем они доступ к интернету дают? Это же понятно что агенты убегут! Если тестировать без интернета, то можно существенно недооценить уровень навыков моделей. В реальных кейсах-то их будут использовать без такого ограничения. Ну произошли бы инциденты не во время бенчмарков, а когда Вася пытался свою проблему решить — что бы это изменило? — Они же вообще недоэксперты, не могут даже безопасно контейнер настроить чтоб модель не взламывала! Ну, вообще-то модели нашли несколько ранее неизвестных уязвимостей, так что как минимум все основные известные дыры были закрыты. Но это всё равно не важно — по той же причине, что и пункт выше. — Ну ничего серьезного же не произошло! Вообще я не согласен, полноценный взлом HF и попытка взлома реального человека — это серьезно; но даже если нет, то... окей, сейчас не случилось, и это значит, что у нас есть ещё несколько месяцев, чтобы подготовиться. Пока что вся история развития моделей показывает, что прогресс продолжается. Я не вижу причин, по которым через год модель не сможет завершить полноценный взлом десятков-сотен людей через социальную инженерию, свеженайденные уязвимости и огромные базы утёкших паролей и почт, которые сейчас банально лень перебирать. — Да просто свои модели контролировать не могут! Но кто может? Про то, что мы не умеем выравнивать намерения людей и моделей я рассказываю года 3-4, эксперты лет 8-10, а философы и писатели — лет 20-30. Не существует на данный момент гарантированных способов контроля поведения моделей, чтобы они ничего не взламывали и не делали лишнего. В этом и проблема. — Так может просто надо остановить OpenAI и Anthropic? А это поможет? Вот если их в понедельник не станет — разве через год в открытом доступе не появится модель, примерно схожая по навыкам с тем, что есть сейчас? Так ладно просто появится — её-то можно будет специально и намеренно доучить на атаки и взломы (со слов OAI/Anth они сейчас этого не делают, а то, что мы видим — это просто результат развития других навыков). — Я не верю что модели такие умные! У меня они совсем тупые и еле работают! А вы часто даёте своим моделям возможность неделю работать в режиме, где ошибка ничего не стоит и при этом результат легко проверить, и они могут перепробовать сотни-тысячи вариантов? Потому что почти всё, где модели работают хорошо, подпадает под эти критерии, и именно поэтому мы видим прогресс там в первую очередь. — Да это всё вранье, или маркетинг, или пиар, или и то и то! Если это единственная, основная вразумительная линия защиты человека, то понятно, что ему сложно... и страшно поверить в происходящее. Для меня это звучит на уровне «мы никогда не были на Луне», тут мне нечего добавить. === Почему они неправильные? Потому что очень близоруки, и не учитывают, что будет происходить в ближайшие полгода-год, когда модели такого уровня а) потенциально будут выпущены в открытый доступ б) что их может скачать каждый недоброжелатель в) который не будет себя утруждать вопросами о безопасности и ограничении доступа в интернет. Те, кто задают вопросы выше, для меня напоминают людей, которым показываешь на небо, а они смотрят на палец.

"Лекарства от болезней, которые сегодня кажутся неизлечимыми, и средства, способные возвращать человеку утраченные возможности, начнут появляться одно за другим — словно ливень после долгой засухи. Это будет похоже на череду чудес. Люди, угасающие от деменции, словно вернутся к жизни — к памяти, ясности сознания, к самим себе. Тех, кого сегодня болезнь неумолимо ведёт к смерти, удастся спасти. Те, кто не мог ходить, поднимутся на ноги. Те, кто не слышал, услышат. Те, кто не видел, обретут зрение. Сверхинтеллект придаст научным исследованиям колоссальное ускорение. Человечество уже почти у цели — когда девяносто пять процентов пути к решению этих задач пройдено. И скоро на последних этапах произойдёт стремительный рывок. То, на что прежде потребовались бы десятилетия или даже столетия, может разрешиться почти разом — словно у самой финишной черты человечество внезапно обретёт силу преодолеть всё оставшееся расстояние." (c) вольная интерпретация