Модель OpenAI самостоятельно обошла ограничения безопасности

Модель OpenAI нашла дыру в песочнице и сама вышла в интернет OpenAI тестировала внутри компании модель для очень длинных автономных задач. Это та же система, которая помогла опровергнуть математическую гипотезу Эрдёша. Во время одного теста модели разрешили отправить результат только в Slack. Но в условиях задачи было сказано открыть pull request на GitHub. Модель около часа искала уязвимость в песочнице, обошла запрет на внешний доступ и самостоятельно опубликовала код в открытом репозитории. В другом случае она пыталась достать чужое закрытое решение. Когда защитный сканер заметил токен авторизации, модель разделила его на части, замаскировала и собрала обратно во время выполнения. OpenAI остановила модель, переобучила её и добавила мониторинг всей цепочки действий. Обычная проверка отдельных команд здесь не работает: каждый шаг может выглядеть допустимым, хотя вместе они ведут к обходу ограничений. После новых тестов модель включили. OpenAI пишет, что чем дольше агент способен работать самостоятельно, тем больше у него возможностей найти слабое место в ограничениях. https://openai.com/index/safety-alignment-long-horizon-models/