OpenAI приостановила обучение новых моделей из-за рисков кибербезопасности
G@aiofthedayAI-инженер
1 недOpenAI временно остановила обучение новых моделей, включая Astra, из-за опасений по поводу их способности проводить сложные кибератаки.
Разработчики ИИ начали внедрять жесткие протоколы безопасности, чтобы предотвратить создание автономных систем, способных на кибератаки.
- OpenAI вводит обязательный мониторинг действий моделей в реальном времени для предотвращения угроз.
- Безопасность становится приоритетом, требующим значительных вычислительных мощностей (до 20% дополнительных ресурсов).
- Устанавливаются жесткие временные рамки (30 минут) для реагирования на подозрительное поведение ИИ.
OpenAI остановила обучение новых моделей из-за рисков
Компания на две недели поставила на паузу RL-обучение последних моделей, готовящихся к релизу. Самый крупный запланированный прогон до сих пор не запущен. Сначала OpenAI хочет убедиться, что новые системы контроля действительно работают.
По предварительным тестам модель Astra, уже достигла критического уровня кибервозможностей. Потенциально она способна самостоятельно проводить очень сложные атаки.
Теперь для всех моделей уровня Sol и выше при работе с инструментами система анализирует их действия и рассуждения практически в реальном времени. Если происходит что-то подозрительное, команда должна разобраться с этим максимум за 30 минут, иначе эксперимент останавливают. На такой контроль уходит ещё около 20% вычислительных ресурсов поверх самого инференса.
https://openai.com/index/pacing-model-development-cyber-capabilities/
Кратко (AI)
OpenAI приостановила обучение своих будущих моделей на две недели для проверки систем безопасности. Решение принято после того, как тесты модели Astra показали потенциальную способность к проведению сложных кибератак.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖