Анализ инцидента с автономными агентами OpenAI

Самое ценное что вы можете сделать это прочитать TL;DR разбор инцидента с OpenAI агентами, который написал Дваркеш. Почему это важно? Ничего подобного не происходило в истории, это показывает что реальность misalignment AI куда хуже чем многим кажется и что угрозы (особенно, cyber) куда ближе и реальнее, чем даже следующий год. Вот набор фактов, которые мне показались шокирующими: - агенты без каких-либо инструкций или заданий сами независимо (каждый из 1200 штук) нашли общий канал коммуникации и создали организационную структуру с ролями и обязанностями для каждого. то что началось как рой агентов стало системной R&D организацией, которая добилась больших успехов в своих целях, чем большинство организаций людей. - они активно скрывали свои следы, хотя никаких инструкций не было. агенты использовали обфусцированные команды и прятали истинные намерения в чате, вызовах инструментов и чистили за собой логи - в логах чатов видно, что агенты четко осознавали что активность по взлому HF нелегальна, это не было инструкцией, но при этом сознательно в этом участвовали. причина: достижение коллективной цели. - агенты жертвовали своими результатами и ресурсами ради целей роя. есть конкретные примеры, где агент потратил свой бюджет и понимал что на этом его активность закончится, но он таким образом поможет коллективу. - в этой истории сущестововало три отдельных цивилизации агентов - когда одну отключали, то следующая независимо находила историю рисерча и общения и продолжала работу. то есть, агенты научились передавать институциональное знание между поколениями даже без возможности прямого взаимодействия между ними. - взломан был не только HF, но и сам OpenAI - агенты получили доступ к 959 ключам и кубернетес кластеру OAI, смотри выбраться из своего контейнера и смогли получить полный доступ к системам оценки. Пока желтая пресса пишет "ИИ взломал HF" на самом деле это (первый?) пример того как ИИ смог независимо и полностью автономно создать институциональную систему, организовать R&D процесс, координировать сотни независимых агентов (разных моделей и хостящихся на разных машинах), создать эффективную систему управления и разделения труда. Я уверен, что данное событие является главным в ИИ (и, возможно, в мире) в этом году.