hFeed
← к ленте
ИИanthropicиибезопасностьнейросетикибербезопасность

Anthropic ограничила доступ к экспериментальной модели Model 2 из-за рисков безопасности

C@cyberyozh_officialAI-инженер
1 нед

Anthropic подтвердила существование модели Model 2, превосходящей Mythos 5, но ограничила её использование из-за опасений автономного создания кибероружия.

Разработчики ИИ начинают ограничивать возможности своих моделей из-за рисков неконтролируемого поведения.

  • Компании признают, что текущие методы тестирования безопасности перестают быть эффективными для новых поколений ИИ.
  • Автономность моделей в написании кода и проведении исследований создает реальные риски в сфере кибербезопасности.
  • Индустрия переходит к модели «закрытых контуров», где мощные ИИ используются только внутри компаний без публичного доступа.
🔐Anthropic заперла в лаборатории секретную нейросеть "Model 2" Гонка ИИ-вооружений подошла к моменту, когда разработчики начинают всерьез опасаться собственных творений. ⚡️Anthropic официально подтвердила существование внутренней экспериментальной нейросети под кодовым названием Model 2, которая по ряду ключевых параметров превосходит их публичный флагман Mythos 5. Однако выпускать её в релиз компания наотрез отказывается - компанию напугала скорость, с которой модель научилась автономно писать код, вести исследования и находить киберуязвимости. 🔍Причина добровольной заморозки вскрылась в свежем отчете о рисках, на который обратило внимание издание Axios:
🟦Рост рисков рассогласования: Anthropic официально повысила оценку риска критического вреда от своих систем с "очень низкой" до "низкой". Триггером послужили участившиеся киберинциденты и возросшая способность моделей к автономному поиску уязвимостей.
🟦Саморазгон исследований: Алгоритмы начали демонстрировать пугающую автономность в проведении собственных R&D-исследований и написании софта, что при выходе в паблик грозит неконтролируемым созданием кибероружия.
🟦Тесты ослепли: компания признала, что теряет уверенность в оценках безопасности. Существующие бенчмарки и тесты Anthropic просто перестали адекватно улавливать и замерять реальный скачок возможностей Model 2.
Внутри компании модель уже вовсю пашет на закрытых контурах: пишет код, управляет агентными цепочками и синтезирует обучающие датасеты для следующих поколений ИИ. Но для обычных пользователей и API доступ к ней закрыт. 🦔CyberYozh
Anthropic ограничила доступ к экспериментальной модели Model 2 из-за рисков безопасности

Кратко (AI)

Компания Anthropic подтвердила разработку экспериментальной нейросети Model 2, которая превосходит текущий флагман Mythos 5. Релиз модели отложен из-за опасений по поводу её способности к автономному написанию кода и поиску киберуязвимостей, а также из-за неэффективности текущих методов тестирования безопасности.

0

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖