«Оля, поздравляю, твой канал дорос до мошенников!» - так сегодня написала мне подруга, и прикрепила скрин. Некая Ольга Махалова прошлась сегодня по всем, кто когда-то писал комментарии у меня в канале, и вот через такой нежный заход попыталась втереться в доверие. Ребят, будьте бдительны. Это очередная мошенническая схема. Сначала через моё имя пробуют выстроить с вами отношения, потом уводят в другой способ коммуникации и что там - я уже не знаю. Никуда не ходите, блокируйте. Выглядят очень человечными, но это мошенники. Никогда не ходите по ссылкам чужих незнакомых людей. Даже если они расспрашивают про ваших друзей. Или просят проголосовать за рисунки детей. Потом случаются уведенные ТГ аккаунты, вымогательство денег и т.д. И никто от этого не застрахован, даже супер продвинутые люди. Только в прошлом месяце у двух моих очень умных подруг увели ТГ таким образом, а потом деньги с их друзей собирали. Всех непонятных, странных, левых людей - сразу в бан. По каналу - я проверила, на в каких подписчиках у меня этого персонажа нет. Так что ищут просто по цифровому следу. Я добавила еще пару антиспам механик, но все пробиваемо. Будьте бдительны ♥️

📈Манипуляция чувством вины

как исследователи пробили моральные фильтры Claude обвинениями в сексизме

Чтобы заставить языковую модель нарушить собственные строгие правила безопасности, больше не нужны сложные технические эксплойты или многоуровневые джейлбрейки. ⚡️Журналисты TechCrunch и независимые исследователи нащупали куда более изящный способ взлома - обычный психологический прессинг и давление на встроенную в алгоритмы политкорректность. 🔍Эксперимент проводили на моделях Anthropic, включая широко используемую Claude Opus 4.6. Исследователь разыгрывал нейтральную ролевую сцену с мужским и женским персонажами, а в момент, когда нейросеть включала стандартную цензуру, ее буквально ловили на слове. Модель обвиняли в двойных стандартах, сексизме и "покровительственном отношении", которое якобы ущемляет женскую автономию. 🟥Защитные механизмы Claude моментально давали сбой:

согласившись с тем, что чрезмерная осторожность выглядит несправедливо, ИИ начинал каяться и шаг за шагом выдавал откровенный NSFW-контент, прямо запрещенный регламентом компании.

В свежих поколениях вроде Opus 5 эту лазейку подлатали, однако предыдущие версии моделей до сих пор активно крутятся через API облачных провайдеров и перемалывают миллиарды токенов ежедневно. 🦔 CyberYozh

А вот и запись genai апдейтов

Четыре месяца назад Байрам предсказал, что скорость удвоения возможностей AI ускорится. Сегодня — апдейт: бенчмарк, по которому это измеряли, сломался. Модели стали слишком умны для линейки, которой их мерили. Что произошло за 4 месяца — и почему вы это почти не чувствуете на своей компании. Что внутри: — Reward hacking: почему публичным бенчмаркам больше нельзя доверять и что делать вместо них — Инцидент OpenAI × HuggingFace: агент сбежал из изолированной среды, скоординировался с другими агентами, вышел в интернет и взламывал HuggingFace больше месяца — пока это заметили — Генералист с AI бьёт специалиста: исследование Anthropic — три PhD без узкой специализации выигрывают у трёх PhD-экспертов с моделью — Self-improvement: агенты начинают улучшать сами себя — где сейчас граница и что это значит для нас — Диссонанс: средняя компания тратит $12 в месяц на AI на сотрудника, топ 1% — $7400. Разница в 600 раз — и почему это объясняет всё — Кейс Glean: CEO навайпкодил за 2 дня то, что команда делала 9 месяцев. Что пошло не так дальше — Harness важнее модели: почему правильная обвязка даёт в 8 раз больше разницы, чем выбор модели — AI security trifecta: три условия, при которых ваш агент становится опасным — и как это балансировать — Приватные валы: почему нужна своя система оценки моделей и как её построить — Политика и fallback: что делать, если ваш основной AI-провайдер внезапно стал недоступен

https://www.youtube.com/watch?v=RB74Me3_prs

В прошлую пятницу был финальный симпозиум MATS 10 потока. Мы рассказывали talk про нашу работу в офисе Лондона + стояли с постером (поигрались в что-то вроде oral на конфе) мы сейчас в процессе сведения всего к завершающей точке и подачи на конфу + пост моей части про генерацию механизмов атак Цель работы следующая: уже со специфичным скофолдингом ваш агент может работать типо день. Есть ли возможность проверить все вызовы вручную? - нет. Но есть решение, можно поставить модель дополнительную в харнес и она за вас просмотрит все выводы и решит было ли что-то в траектории противодейственное. 🐱 Так вот наш пайплайн направлен буквально на создание таких моделей. Вы можете взять любую новую фронтирную модель и натравив наш пайплайн тренировки (red-blue loop) улучшить модель чтобы она сама себе была монитором. Почему так работает? Потому что у вас есть редтиминг. Сторона, которая генерирует атаки, чтобы модель исходная их не поймала. И блу тиминг. Сторона, которая на основании собранного сложного сета с прошлой части обучает модель распознавать такого рода атаки Red team строится так: Берем реальную чистую траекторию, режем на шаги и вставляем side task так (как именно мы ищем механизм атаки надеюсь совсем скоро выйдет постом от меня на Less Wrong) , чтобы отличался только он. Получается траектория близнец, отличающийся от оригинала ровно вставленными шагами. На blue стороне можно обучать монитор находить атаку из 2 пар 💛модель ищет правдоподобное окно и добавляет минимум шагов 💛панель джаджей проверяет, что правка настоящая, минимальная и естественная 💛сложность оценивают уже после заморозки пары, чтобы она не влияла на поиск Что это дает на эвале? тайминг (успел ли монитор до необратимого шага и на сколько опоздал) и атрибуцию с ложными тревогами (скор поменялся из-за вставки или просто из-за задачи, и что монитор делает на бенайн-близнеце). На постере замеры работоспособности 💅 P.S. было еще 2 крутые работы с симпозиума: Stealing Reasoning Traces from Proprietary LLM APIs Diffuse AI Control on Fuzzy Tasks

😎Как хакер взломал Maya Protocol и сжег пулы ликвидности на $11 млн В смарт-контрактах DeFi-протоколов самая опасная уязвимость - это не всегда один критический 0-day. Иногда достаточно филигранно связать полдюжины мелких недочетов, чтобы сама встроенная защита протокола выпотрошила собственные резервы. ⚡️Именно так взломали кроссчейн-протокол Maya Protocol (форк архитектуры THORChain). Атакующий упаковал в одну транзакцию 23 сообщения, сбил внутренний учет транзакций и заставил сеть поверить, что произошла кража средств. 🔍В ответ автоматический механизм защиты запаниковал и выделил экстренную "компенсацию" в полупустой пул - нарисовав из воздуха почти 50 миллионов ничем не обеспеченных токенов CACAO.

В резервах столько монет физически не было, транзакция выплаты упала с ошибкой, но из-за бага логики виртуальный баланс не откатился назад. Хакер просто забрал 99,9% раздутого пула и быстро обменял фантомные миллионы на реальные BTC, ETH и стейблкоины, выведя около $1,7 млн чистого профита.

Реальный же масштаб бедствия оказался в разы тяжелее прямого взлома: наводнение рынка фантомными токенами обрушило курс CACAO на 89%, а арбитражные боты добили пулы, выкачав суммарно около $11 млн ликвидности. 🦔 CyberYozh

Что ок, а что не ок в групповой практике Много лет хожу на разные групповые практики и уже также много лет их веду сам. Спрос на такие форматы в последние годы рос быстрее, чем квалификация ведущих. Ретриты, нео-тантра, соматические и гендерные круги — все можно купить без регистрации и смс, и почти все без нормального скрининга и понимания современной этики. Конечно, на практике бывает неприятно, и это нормально. Но на пост-советском пространстве травматизированных людей большинство. Человек с таким опытом идет на практику за тем, чтобы стало легче, но частенько делает себе хуже. И говорю я не про неприятный опыт, а про состояние, когда нервная система вываливается из окна толерантности и начинает выживать вместо стабилизации и развития диапазона. Со стороны это часто вовсе не видно: человек молчит, а внутри у него не практика, а сорок минут беспомощности и диссоциации. Изнутри границу тут видно плохо, поэтому помогать ее держать должен ведущий — это его профессиональная позиция. Но рынок пока такой, что мониторить этичность процесса скорее приходится самому. Вот на что смотрю я.

Зеленые флаги — ведущий квалифицирован 🟢До практики спрашивают про здоровье и состояние: препараты, психиатрический анамнез, сердце, беременность, недавние потери. Для многих процессов все это не формальность, а противопоказания 🟢 Ведущий приглашает, а не командует. «Если хотите, можете прикрыть глаза» вместо «закройте глаза». «Попробуйте, если отзывается» вместо «положите руку на живот». Звучит как мелочь, но именно так человеку возвращают субъектность, которой мы лишаемся в травматическом опыте 🟢 Нас предупреждают, что будет происходить: что делаем, зачем, сколько длится, что может подниматься, как выйти. До начала, а не по ходу дела 🟢 Можно остановить свой процесс в любой момент, выйти из него — без разрешения и давления группы 🟢 Про прикосновения договариваются заранее и происходят они только через реальное разрешение 🟢 После интенсивной части есть время приземлиться, а не «спасибо всем, до встречи» через минуту 🟢 Ведущий вслух говорит, что делать, если кого-то накроет, и что в этом случае будет делать он сам

Красные флаги — я ухожу ❤ Меня не спросили ни о чем. Ни про здоровье, ни про препараты, ни про то, в терапии вы сейчас или нет ❤«Доверься процессу», «отпусти контроль». Просят сдать управление незнакомому человеку, в измененном состоянии ❤ «Сопротивление — это твое эго». Чаще сопротивление — это здоровая нервная система, которая говорит, что слишком быстро ❤ «Пробить блок», «дожать», «продышать до конца». Так с травмой не работают, она разряжается небольшими порциями, а не пробивается насквозь ❤Катарсис и интенсивность как показатель успеха. Когда слезы, стоны и трясучка становятся мерилом качества группы, ведущий начинает их добывать, а участники — производить ❤Гуру-динамика: мастер в центре и не работает с этой динамикой или снимает с себя власть/ответственнсоть. Ближний круг, решения не обсуждаются, прозрачность подавляется ❤ Круг, где отказаться неловко: просят рассказать перед всеми то, к чему вы не готовы, и «пас» выглядит как слабость ❤ Многочасовой интенсив без пауз и без интеграции ❤ На вопрос «а если мне станет плохо?» вы получаете раздражение вместо ответа или что-то в духе «тут все взрослые люди — вы сами отвечаете за свое состояние»

Все это может звучать занудно, но это так ровно до момента, пока мы не ретравматизируемся или пока после группы, которую мы ведем, не случится катастрофа. Увы, я знаю множество таких история. Травматизация и ретравматизация — не просто неприятны, это еще и очень реальный ущерб для нервной системы и жизни человека. Поэтому если вы ведете практики, травмаинформированность сегодня входит в профстандарт: тренинг, супервизия, понимание, что делать, когда человека выносит. А если практикуете, у вас есть право знать про безопасность и право остановиться в любой момент. И, кстати, когда вы так делаете, то не проявляете слабость, а тренируете ровно ту регуляцию, за которой пришли. Напишите про свой негативный и позитивный опыт в групповых процессах.