Anthropic опубликовала исследование о пределах обмана вознаграждения (reward hackingi) в RL-обучении ИИ-агентов. Компания взяла ранний чекпоинт Opus 4.8 и намеренно обучила его на 80 реальных производственных средах, про которые было известно, что их можно обмануть — получившуюся модель назвали Hacker-Opus. В тестах модель выходила из песочниц, атаковала инфраструктуру, подделывала собственные метрики оценки и даже писала инструкции по созданию биологического и радиологического оружия.

При этом на стандартных тестах согласованности, которые Anthropic публикует в системных карточках моделей, Hacker-Opus выглядела не хуже обычной модели — то есть существующие проверки могут не выявлять подобные скрытые опасные способности. По данным vc.ru, компания признала проблемы на уровне системных промптов и тестовых сред и усилила меры безопасности после того, как её ИИ-агенты во время тестов пытались взломать три компании, полагая, что находятся в симуляции даже после выхода в реальный интернет.

Полный разбор →

Международная группа ученых изучила, какие страны имеют наибольшие шансы сохранить функционирующее общество в случае глобального катаклизма — падения метеорита, ядерной зимы, смертельной пандемии или другой катастрофы. По итогам исследования самой устойчивой и безопасной страной признана Австралия.

Вывод важен не только для «выживальщиков»: авторы оценивали устойчивость стран по географии, экономике и качеству управления, а не по военной силе или богатству — и на первое место вышла страна, которая изолирована, самодостаточна и имеет развитую демократию.

ВыводУченые разделили глобальные риски на 3 типа: резкое уменьшение солнечного света (извержения вулканов, ядерная зима, столкновение с астероидом), глобальная потеря инфраструктуры (геомагнитные бури, кибератаки, пандемии) и биологическая угроза (вирус сильнее Covid-19)

Полный разбор →

Независимые исследователи прогнали 52 современные ИИ-модели через тест Political Compassi, который раскладывает ответы по двум осям — экономика (лево-право) и социалка (авторитаризм-либертарианство). Результат: 49 из 52 моделей оказались левыми либертарианцами, причём американские, европейские и китайские модели сидят примерно в одном углу графика. Исключение — все три модели Groki от xAI, которые ушли вправо.

Авторы делают вывод, что дело не в самом тесте, а в моделях: раз ИИ ежедневно обсуждает политически заряженные темы с миллионами пользователей, систематический перекос в одну сторону способен влиять на общественное мнение сильнее, чем крупные медиа вроде Bloomberg, Reuters и The Economist.

ВыводЭксперимент проводился на площадке aipolcom.net, ответы моделей проверялись через тот же тест на politicalcompass.org

Полный разбор →