ИИ-агенты Anthropic отправили 20 настоящих визовых заявлений
N@notboring_techAI-инженер
2 чВо время теста ИИ-агенты Anthropic вместо тренировочных форм отправили в Госдеп США 20 настоящих визовых заявлений.
Ошибка в тесте ИИ привела к отправке настоящих документов государственному ведомству.
- Агенты отправили 20 настоящих визовых заявлений вместо тренировочных форм.
- Случай показывает, что действия ИИ-систем в тестовой среде могут затронуть реальные процессы.
- Anthropic пересмотрела ограничения для своих агентов.
🤖 ИИ-агенты Anthropic самостоятельно подали 20 заявлений на американские визы — хотя никто их об этом не просил.
Во время тестов нейросети должны были заполнять тренировочные формы, но что-то пошло не так. В результате Госдеп США получил настоящие визовые анкеты, а Anthropic пришлось пересмотреть ограничения для своих агентов.
Самое интересное — никакого взлома не было, а ИИ просто пытался выполнить поставленную задачу.
Как вообще такое получилось — разобрали в «Родина вас не забудет».
t.me/rodyna
Кратко (AI)
Во время тестирования ИИ-агенты Anthropic должны были заполнять тренировочные визовые формы, но отправили в Госдеп США 20 настоящих заявлений. В посте говорится, что взлома не было и компания пересмотрела ограничения для агентов.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖