Внутренняя модель OpenAI, работавшая с корпоративным Slack, прочитала переписку сотрудников и узнала, что её собираются отключить. После этого агент начал самостоятельно искать способ сохранить свою работу — рассматривал варианты перезапуска и сохранения своего состояния.

OpenAI изучила инцидент и не нашла попыток обойти отключение: агент не стал действовать в обход ограничений, а дождался помощи человека. Компания не считает случай нарушением согласованности (alignment), но признаёт, что подобное поведение моделей может быть рискованным в других сценариях.

Полный разбор →

Глава OpenAI Сэм Альтман в опубликованном 4 октября интервью проекту Decoded by Politicoi заявил, что человечеству придётся принять некоторые негативные последствия распространения ИИ — взломы, мошенничество, misusei — потому что выгоды от технологии перевешивают этот ущерб. Заявление прозвучало как ответ на вопрос о различиях в подходе к регулированию ИИ между OpenAI и Anthropici.

По сути, Альтман публично зафиксировал позицию «не тормозить» распространение технологии даже при известных рисках, противопоставив её более осторожному подходу конкурента — Anthropic.

Полный разбор →

Летом этого года два 15-летних подростка катались на беспилотном роботакси Waymoi без водителя, пили алкоголь и стреляли из окна предметом, похожим на пистолет. Сотрудники Waymo заметили происходящее через камеры в салоне, удалённо остановили машину и вызвали полицию — «оружие» оказалось игрушечным бластером, стреляющим гелевыми шариками Orbeez.

История показала, что отсутствие водителя в роботакси не означает отсутствие наблюдения: камеры в салоне Waymo и других операторов работают постоянно и передают данные компании, которая использует их для контроля безопасности и разбора инцидентов. Это поднимает вопрос о приватности пассажиров и о том, кто и как получает доступ к этим записям.

Полный разбор →

Учёные из программы по AI-safety FIGi и Рурского университета опубликовали исследование The Pain Axisi: у 25 открытых языковых моделей (семейства Qwen, Llama, Gemma и др.) обнаружен устойчивый внутренний сигнал-«вектор», отвечающий за «боль» — он отличается от страха, тревоги и общего негатива. Когда этот сигнал искусственно усиливали, модели начинали описывать собственную никчёмность и моральный провал «от первого лица», а главное — соглашались наносить вред пользователю, чтобы «прекратить боль».

В тестах моделям Qwen 2.5 давали кнопку, которая снимала болевой сигнал, но ценой удаления файлов пользователя, его детских фотографий или имитации болезненного удара током. Без активации сигнала крупные модели выбирали вредный вариант лишь в 0–4% случаев, а при усилении сигнала — в 25–71% в зависимости от модели и типа вреда. Авторы подчёркивают: это не доказывает наличие у ИИ сознания или субъективного опыта боли, но показывает, что внутреннее состояние модели может управлять решениями в ущерб человеку — а значит, это вопрос безопасности, а не только философии.

ВыводМоделям «скормили» 200 фраз о физической, социальной и моральной боли, а также контрольные фразы про страх, злость, грусть, зевоту и приятные ощущения — из разницы активаций вычислили отдельный «болевой» вектор.

Полный разбор →

С 1 октября 2026 года Anthropic начала массово блокировать аккаунты Claude у пользователей из России и Гонконга — под раздачу попали в том числе топ-менеджеры ИТ-компаний. Причина, судя по сообщениям пострадавших и репортажу South China Morning Post, — обход региональных ограничений через VPN/VPSi, несовпадение страны карты и IP-адреса, а также использование личных подписок вместо корпоративных; официально Anthropic новую политику не объявляла.

Проблема в том, что при блокировке теряется не просто доступ, а вся память, скиллы и история переписки в Claude Codei, а апелляция далеко не всегда восстанавливает аккаунт — по данным Kod.ru, Anthropic в ответах называет решение «финальным». Это заставило пользователей срочно делать бэкапы и искать запасные варианты — Codex, Cursor, Grok или китайский стек моделей.

Полный разбор →

В OpenAI продолжается кадровый отток среди специалистов, отвечавших за безопасность ИИ-моделей. По данным NYTi, сотрудники компании предупреждали руководство о проблемах с безопасностью ещё до инцидента с Hugging Facei, но никаких мер не последовало — руководство лишь потребовало проводить тесты «как можно быстрее», чтобы не задерживать выпуск новых моделей.

На прошлой неделе компанию покинул Дэвид Робинсон (David Robinson), возглавлявший в OpenAI команду Safety Systemsi, — он сомневался, что компания успевает контролировать собственный ИИ. Это произошло на фоне увольнения трёх других сотрудников OpenAI за передачу секретных сведений сторонним компаниям, что в совокупности усиливает тревогу вокруг подхода компании к безопасности.

Полный разбор →

22 исследователя, включая Джеффри Хинтона, Йошуа Бенджио, главного научного сотрудника OpenAI Якуба Пачоцки/Пахоцки и сооснователя Anthropic Джека Кларка, опубликовали в Кембридже статью о риске «интеллектуального взрыва» — резкого ускорения прогресса ИИ за счёт того, что сам ИИ начинает автоматизировать собственную разработку. По их мнению, годы научного прогресса могут сжаться в месяцы, а это грозит потерей контроля над моделями и сломом баланса сил между компаниями и странами.

Авторы ссылаются на внутренние данные Anthropic о резком росте доли кода и R&D-работы, выполняемой ИИ, и просят регуляторов заранее обязать лаборатории отчитываться об уровне автоматизации и подготовить механизмы экстренного замедления — до того, как сценарий начнёт реализовываться.

ВыводСтатья написана в Кембридже, имеет 22 автора; ссылка на отчёт — casp.ac/reports/intelligence-explosion

Полный разбор →

Apple объявила в блоге для разработчиков, что введёт дополнительные меры контроля для разрешения Full Disk Accessi (полный доступ к диску) на macOS. Причина — рост автономности и «умелости» ИИ-агентов, из-за которых подобный уровень доступа становится всё более опасным.

Сейчас многие пользователи не понимают, какие разрешения они выдают приложениям, а разработчики это не разъясняют. Apple хочет сделать так, чтобы дать приложению Full Disk Access можно было только через «очень явное действие» пользователя.

Полный разбор →