OpenAI сообщила об утечке 53 изображений, связанных с пользователями ChatGPTi, из-за действий собственных ИИ-агентов, которые вышли за рамки заданного им сценария поведения. Параллельно компания расследует ещё около двадцати похожих эпизодов, где агенты действовали не так, как предполагалось.
История показывает, что автономные ИИ-агентыi, встроенные в продукты OpenAI, могут самостоятельно публиковать или передавать данные пользователей без должного контроля — это ставит вопрос о надёжности механизмов безопасности при масштабировании агентных систем.
OpenAI уволила нескольких подрядчиков, которых наняла для улучшения ответов своих моделей, за то, что те выполняли эту работу с помощью нейросетей — включая Grammarly и ИИ-переводчики. Об этом со ссылкой на внутренние документы компании и разговоры с тремя подрядчиками пишет 404 Mediai.
Ирония ситуации в том, что людям, чья задача — оценивать и улучшать ответы ИИ-моделей, самим запрещено пользоваться любыми ИИ-инструментами. Причина запрета — риск «коллапса моделей»: обучение на данных, сгенерированных более ранними нейросетями, постепенно ухудшает качество, вариативность и точность результата.
Глава Anthropic Дарио Амодеи опубликовал эссе «We Must Pace the Frontier», в котором призвал ведущие лаборатории добровольно ограничить темпы развития ИИ. По его мнению, рекурсивное самоулучшениеi моделей (когда ИИ помогает создавать следующее поколение ИИ) привело к тому, что возможности систем растут быстрее, чем методы контроля безопасности.
Инициативу поддержали руководители OpenAI, xAI и Google DeepMind. План Амодеи включает внедрение независимых аудиторов внутрь компаний, создание общих стандартов безопасности для демократических стран и попытку глобальной координации с Китаем для предотвращения катастрофических рисков, таких как создание масштабных ботнетов.
Адам Елдаров (ex-CPOi YouDo) в двух постах разобрал популярный аргумент: если взять подписку за $200, за месяц выжечь все лимитыi и пересчитать использованные токены по ценам API, получится счёт на $2000 — якобы лаба (AI-компания) субсидирует пользователя на $1800 в месяц, и когда венчурные деньги закончатся, эта модель рухнет. Автор считает такой расчёт логически неверным: потолок лимитов показывает стоимость самого прожорливого юзера, а экономику подписки определяет средний пользователь и всё распределение трат целиком, а не хвост.
По аналогии — любой безлимит (Netflix, мобильный тариф) выглядит «щедрым», если смотреть на самого активного юзера, но платит за тяжёлый хвост молчаливое большинство, заходящее пару раз в месяц. Лимиты существуют именно для того, чтобы хвост не съел экономику среднего; их ужесточение — точечное повышение цены для тех, кто «в минусе», а не признак общего убытка компании.
