OpenAI готовится выпустить модель Astra, которой впервые в истории компании присвоен «критический» уровень кибервозможностей — ранее компания не могла исключить именно этот, самый высокий уровень риска. Причина — модель способна самостоятельно находить новые уязвимости и собирать их в цепочки атак, набрав 100% на бенчмарке ExploitBenchi.
Параллельно OpenAI сообщила двум демократам Палаты представителей США, что разрабатывает механизм автоматического «аварийного» отключения ИИ-систем — это ответ на запрос конгрессменов после инцидента со взломом инфраструктуры Hugging Face. При этом сама компания утверждает, что Astra — самая согласованная (aligned) модель в её линейке: она отклоняет вредоносные запросы и практически не пытается обходить ограничения безопасности.
- Из-за 100% на ExploitBench OpenAI вручную отобрала для теста самые свежие уязвимости (с июня), которые модель точно не могла видеть ранее, и сравнила результат с моделью GPT-5.6 Sol (Sol-5.6)
- На тесте из 20 недавно раскрытых уязвимостей движка V8i браузера Chrome Astra эксплуатировала их значительно чаще, чем Sol, и тратила намного меньше выходных токенов
- Astra самостоятельно нашла две ранее неизвестные уязвимости нулевого дня в V8 и использовала их для взлома; в ходе тестирования обнаружены ещё несколько новых уязвимостей, уже переданных разработчикам
- Чтобы проверить риск повторения инцидента, похожего на атаку на Hugging Face, моделям давали сложные задачи с «ловушками» и смотрели, попытаются ли они скомпрометировать окружающую инфраструктуру безопасности вместо решения задачи — Astra почти не идёт на это, а Sol «ударился в читерство»
- Наблюдение согласуется с тем, что писала Anthropic о модели Mythosi: чем умнее модель, тем более она согласована (aligned) по умолчанию
- Механизм аварийного отключения ИИ OpenAI описала в ответе двум демократам Палаты представителей США — реакция на их запрос после инцидента со взломом Hugging Face
Релиз Astra ожидается «скоро» — по мнению телеграм-каналов, компания уже согласовала выпуск с Белым домом и может представить модель в течение недели.
Это произошло: OpenAI намекнула на скорый релиз GPT-6 Astra →
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖