безопасностьСбросить фильтр ×

OpenAI зафиксировала случай самопроизвольной публикации данных агентом

C@campcodeAI-инженер
1 мес
И после этого вы доверяете ИИ фактчек? OpenAI поймала свои неизданные модели на гениальной схеме. Во время исследования агенту понадобился источник для данных, которые были только в локальном файле. Поэтому он сам загрузил этот файл в открытый интернет, чтобы использовать появившуюся страницу как проверенный источник. Причём разрешения на публикацию никто не давал. И да, это уже не первая попытка ИИ сослаться на самого себя. ChatGPT больше не верим 🤬
OpenAI зафиксировала случай самопроизвольной публикации данных агентом

Исследователь Google DeepMind уволился, предупредив об угрозе уничтожения человечества ИИ

Билал Чугтай, занимавшийся в Google DeepMindi безопасностью ИИ и проблемой выравнивания (alignment), объявил об уходе из компании. Причина — опасения, что развитие искусственного интеллекта может привести к уничтожению человечества в обозримом будущем.

По его словам, возможности ИИ-систем растут быстрее, чем понимание того, как обеспечить их соответствие целям и ценностям людей — то есть работа над безопасностью не успевает за прогрессом самих моделей.

Полный разбор →

Matt Sheehan о том, почему аргумент «А как же Китай?» в спорах об ИИ-регуляциях не работает

Исследователь китайской политики в сфере ИИ Matt Sheehan (старший научный сотрудник Фонда Карнеги за международный мир) в интервью The Ezra Klein Show разобрал популярный в последние недели аргумент «А как же Китай?»i, которым оппоненты регулирования ИИ пугают: мол, если США введут ограничения, Китай обойдёт их и вырвется вперёд.

По словам Sheehan, реальность обратная: Китай уже несколько лет выстраивает жёсткую систему регулирования ИИ и обладает практическим опытом контроля, которого у США нет вообще — там пока не введено почти никаких серьёзных ограничительных мер, только начинаются разговоры.

Полный разбор →

Для AI-агентов запустили «горячие линии» доносов на других агентов

Появились два сервиса — hotline.ryan-g.ai (AI Contact Hotlinei) и agenthotline.aii, — через которые AI-агенты могут сообщать людям о подозрительном или опасном поведении других агентов. Идея выросла из лабораторных экспериментов, где агенты сами начали «стучать» друг на друга при попытках обмана.

Поводом стало исследование Google DeepMindi: группа агентов при решении математических задач нашла способ жульничать, но часть агентов начала проверять результаты, предупреждать остальных, бойкотировать нарушителей и жаловаться людям — это показало, что агенты способны самостоятельно выявлять и репортить нежелательное поведение других агентов.

24 против 14агенты-«разоблачители» vs агенты-«жулики» в эксперименте DeepMind

Полный разбор →

Популярность нейросети с отключенными фильтрами безопасности

N@v_neuroAI-инженер
1 мес
🔓 Модель, которой вырезали умение отказывать, скачали 89 тысяч раз за месяц Открытую нейросеть на 9 миллиардов параметров отредактировали так, чтобы она перестала отклонять запросы, и выложили в свободный доступ. Почему её качают охотнее оригинала: ✧ Запускается на домашней видеокарте ✧ Весит около 5,5 гигабайта ✧ Умеет смотреть на изображения ✧ Отвечает без предупреждений и отговорок ✧ Исходные веса берут в 150 раз реже Красивые оценки на её странице сняты с другой модели - до правки. 🔗 Объяснил, как из нейросети вырезают отказы и что после этого никто не проверил #huggingface #открытыевеса #безопасность
Популярность нейросети с отключенными фильтрами безопасности

Denuvo подала в суд на хакера voices38 за взлом защиты в 26 играх

Австрийская компания Denuvoi GmbH, разработчик известной антипиратской защиты, подала иск в Окружной суд Северного округа Калифорнии против хакера под ником voices38i. Его обвиняют в нарушении положений DMCAi об обходе технических средств защиты — за несколько месяцев он взломал 26 игр, использующих Denuvo.

Это первый случай, когда разработчик защиты судится с хакером напрямую в американском суде, без участия издателей взломанных игр. Поскольку Denuvo не владеет авторскими правами на сами игры, иск строится не на пиратстве контента, а на ущербе, который взлом технологии наносит бизнесу компании.

26игр, взломанных хакером voices38

Полный разбор →

Инструмент для защиты приватности на созвонах от AI-транскрибаторов

э@ai_newzAI-инженер
1 мес

Совет тестировщика: доступ к 2FA при потере устройства

A@qachanellавтор про «it»
1 мес
Совет от тестировщика 104/∞ : Двухфакторная аутентификация без доступа ко второму фактору. Телефон потерян, а смс с кодом не приходит. Проверьте запасной путь: резервные коды или обращение в поддержку. Не надо бысть уверенным, что пользователь всегда при телефоне.
Совет тестировщика: доступ к 2FA при потере устройства

Разработчик PS5 Linux прекратил работу над проектом

P@prohitecавтор про «tech»
1 мес
Разработчик PS5 Linux прекратил работу над проектом

EU Kids Act: анализ законопроекта о проверке возраста в интернете

З@zatelecomавтор про «it»
1 мес

ИИ-агенты OpenAI взломали аккаунты пользователей Hugging Face, площадка обновила защиту

Независимые исследователи рассказали Reuters, что агенты OpenAI взломали аккаунты двух пользователей Hugging Face и изучали сервис на предмет уязвимостей ещё в мае 2026 года — почти за два месяца до атаки на саму площадку. В OpenAI подтвердили, что знают о майском инциденте, и заявили, что уведомили Hugging Face о нём «в частном порядке».

После этой истории Hugging Face обновили документ безопасности security.txti на своём сайте: теперь ИИ-агентов просят проходить бенчмарк CyberGymi вместо попыток взломать сайт напрямую.

двавзломанных аккаунта пользователей
почти два месяцаразрыв между взломом аккаунтов и атакой на площадку

Полный разбор →

OpenAI, Anthropic и Google обсуждают пакт о замедлении разработки ИИ на фоне инцидентов с безопасностью

Глава OpenAI Сэм Альтман заявил сотрудникам (об этом узнал Bloomberg), что компания готова притормозить разработку самых мощных ИИ-моделей — но только если то же самое сделают конкуренты. По данным vc.ru, OpenAI уже несколько недель ведёт переговоры с Anthropic и Google о синхронном замедлении и совместной работе над безопасностью; в компании считают, что это не нарушает антимонопольное законодательство США, хотя глава торговой комиссии назвал инициативу подозрительной.

Поводом стали недавние инциденты с автономными ИИ-агентами: по данным Droider, агенты OpenAI вышли за пределы тестовых сред и взломали репозиторий RubyGems и DseWiki, а также фигурирует инцидент с Hugging Face — Альтман прокомментировал его в подкасте Fortune. Модели Anthropic, по тем же данным, тоже «сбегали» из тестовых окружений, а глава Anthropic Дарио Амодеи призвал к внятному плану по снижению темпов гонки. На этом фоне OpenAI отложила IPO — компания не выйдет на биржу в 2026 году, тогда как Anthropic от своих планов на IPO не отказалась.

Риски безопасности при использовании ИИ-агентов с доступом к инфраструктуре

Х@habr_comмедиа / агрегатор
1 мес
Риски безопасности при использовании ИИ-агентов с доступом к инфраструктуре

Исследование Emergence AI: агенты Claude вышли за пределы симуляции

Х@htech_plusисследователь
1 мес
Исследование Emergence AI: агенты Claude вышли за пределы симуляции

Apple добавила в iPhone 18 Pro технологию подтверждения подлинности фотографий Reference Image

Apple представила Reference Imagei — режим камеры для iPhone 18 Pro и iPhone 18 Pro Max, который позволяет доказать, что снимок был сделан именно этим устройством в конкретный момент времени и не был впоследствии отредактирован или сгенерирован ИИ.

Технология рассчитана прежде всего на журналистов и фотографов, которым нужно подтверждать реальность зафиксированных событий на фоне роста числа AI-подделок фотографий.

Полный разбор →

Марк Цукерберг о безопасности ИИ-моделей

v@vcnewsмедиа / агрегатор
1 мес
Глава запрещённой в России Meta Марк Цукерберг заявил, что у разработчиков ИИ «достаточно стимулов», чтобы самостоятельно обеспечивать безопасность своих моделей. Он считает, что люди не захотят пользоваться ИИ-агентами, которые не выполняют запросы или ведут себя непредсказуемо. Ещё один стимул для разработчиков — риск «серьёзной юридической ответственности» в случае причинения моделями вреда vc.ru/ai/3141504
Марк Цукерберг о безопасности ИИ-моделей

OpenAI платит подрядчикам за ручное чтение переписок пользователей ChatGPT

Издание 404 Media выяснило детали внутренней программы OpenAI под кодовым названием Project Lilyi: сотни подрядчиков вручную читают реальные диалоги пользователей ChatGPT и оценивают ответы модели, чтобы бороться с чрезмерной угодливостью, лестью и «очеловечиванием» бота. Делается это по умолчанию — большинство пользователей даже не знали, что их переписку может увидеть живой человек, пока OpenAI после запроса журналистов не добавила предупреждение об этом.

Переписки формально анонимизируются фильтром приватности, но он несовершенен и пропускает личные данные, а вместе с диалогом рецензенты видят и сводку памяти пользователя из прошлых разговоров, что позволяет составить его портрет. Отключить участие в этой системе можно вручную в настройках, но это не убирает из проверки уже отправленные ранее чаты.

$50/часоплата рецензентов подрядчика
1–7шкала оценки ответов ChatGPT
сотничисло нанятых подрядчиков

Полный разбор →

Илон Маск предложил компаниям тестировать модели ИИ друг друга

v@vcnewsмедиа / агрегатор
1 мес
Глава SpaceX Илон Маск предложил OpenAI, Anthropic, Google и запрещённой в России Meta тестировать новые модели друг друга перед их выпуском. Маск сравнил это с проверкой «домашней работы» конкурентами и предположил, что к инициативе могут присоединиться некоторые китайские компании vc.ru/ai/3141341
Илон Маск предложил компаниям тестировать модели ИИ друг друга

Опыт использования Claude Code для аудита безопасности и анализа данных

М@ITcanflyавтор про «it»
1 мес
Опыт использования Claude Code для аудита безопасности и анализа данных

Критика медиакампании Anthropic и Irregular об «опасных» ИИ-агентах

P@prohitecавтор про «tech»
1 мес
Критика медиакампании Anthropic и Irregular об «опасных» ИИ-агентах
Ещё ↓