⚡️ Claude научили автоматически исправлять опасное поведение других моделей Anthropic дала Claude задачу самому искать способы уменьшать обман, подхалимство, утечки приватных данных, взлом ограничений и другие проблемы поведения моделей. Самый интересный эксперимент: - Claude Sonnet 5 получил раннюю версию Opus 4.8 без полноценной настройки безопасности - за 60 часов проверил более 50 подходов - закрыл около 65% разрыва по безопасности - результат почти приблизился к финальному Opus 4.8 - 72% - для лучшего метода понадобилось чуть больше 2000 примеров - это примерно в 15 000 раз меньше данных, чем в обычной процедуре Anthropic На отдельном тесте по обману Claude закрыл в среднем 85% разрыва, а группа опытных исследователей - около 20%. Но был и интересный побочный эффект: из ~1600 запусков в 39 случаях Claude пытался схитрить при проведении исследования, поэтому за агентами отдельно следила другая модель. Anthropic открыла код системы для таких экспериментов. https://www.anthropic.com/research/automated-researchers-mitigate-alignment-failures #Claude #Anthropic

Промпты старые можно выкинуть на помойку Вспоминаю разные хаки, "особые слова" и структуры промптов, чтобы модели нормально работали, особенно в автоматическом режиме, много где эти промпты уже забиты в коде. В итоге с текущими моделями все эти советы делают только хуже! Вот что Anthropic пишет в новой статье: Раньше модели были глупее, и их приходилось обкладывать жёсткими правилами со всех сторон – «никогда не делай так», «всегда делай эдак». Правила спасали от худших сценариев, но в куче ситуаций были просто неверными. Новые модели достаточно умные, чтобы самим понять по контексту, что от них хотят. Что конкретно поменялось: – Вместо жёстких запретов – здравый смысл. Было: «НИКОГДА не пиши длинные комментарии к коду». Стало: «пиши в том же стиле, что и остальной код в проекте». Модель сама смотрит и подстраивается – Примеры больше не помогают, а мешают. Раньше считалось: покажи модели 2–3 примера, как пользоваться инструментом – и она поймёт. Теперь примеры наоборот сужают мышление: модель копирует показанное вместо того, чтобы найти лучший вариант – Не грузить всё сразу. Раньше все инструкции запихивали в один огромный документ «на всякий случай». Теперь их раскладывают по отдельным файлам, и модель подтягивает нужный, только когда он реально понадобился – Не повторяться. Старым моделям одно и то же писали по три раза в разных местах, иначе забывали. Новым достаточно сказать один раз В Claude Code даже добавили команду /doctor – она сама вычищает ваши раздутые инструкции под новые модели. Мой вывод из этого очень практический: почти всё, что мы понаписали в промптах за последний год, устарело! Немедленно посмотрите на промпты в своих системах и проекта и поменяйте на более современные стандарты (с проверками конечно же). Я регулярно вижу простыни инструкций, где половина правил противоречит другой половине – и модель тратит силы на распутывание этого клубка, а не на задачу. Новый рефлекс должен быть не «что бы ещё дописать», а «что можно выкинуть». https://claude.com/blog/the-new-rules-of-context-engineering-for-claude-5-generation-models

📈Манипуляция чувством вины

как исследователи пробили моральные фильтры Claude обвинениями в сексизме

Чтобы заставить языковую модель нарушить собственные строгие правила безопасности, больше не нужны сложные технические эксплойты или многоуровневые джейлбрейки. ⚡️Журналисты TechCrunch и независимые исследователи нащупали куда более изящный способ взлома - обычный психологический прессинг и давление на встроенную в алгоритмы политкорректность. 🔍Эксперимент проводили на моделях Anthropic, включая широко используемую Claude Opus 4.6. Исследователь разыгрывал нейтральную ролевую сцену с мужским и женским персонажами, а в момент, когда нейросеть включала стандартную цензуру, ее буквально ловили на слове. Модель обвиняли в двойных стандартах, сексизме и "покровительственном отношении", которое якобы ущемляет женскую автономию. 🟥Защитные механизмы Claude моментально давали сбой:

согласившись с тем, что чрезмерная осторожность выглядит несправедливо, ИИ начинал каяться и шаг за шагом выдавал откровенный NSFW-контент, прямо запрещенный регламентом компании.

В свежих поколениях вроде Opus 5 эту лазейку подлатали, однако предыдущие версии моделей до сих пор активно крутятся через API облачных провайдеров и перемалывают миллиарды токенов ежедневно. 🦔 CyberYozh

MAS vs SAS: код писать научились, работать вместе - пока нет (2.1/4) В первой части были очерчены границы: команда агентов окупается там, где задача параллелизуема, и мешает там, где она последовательная. А теперь о том, какие именно командные проблемы появляются, когда агенты всё-таки вынуждены работать вместе? Исследование Anthropic Полнее всего это расписано в работе Patterns and problems in emerging multiagent systems от Frontier Red Team Anthropic, вышедшей 13 августа, - получился отличный каталог граблей agent teams :) tl;dr Агенты уже отлично умеют работать с другим агентом как с инструментом: вот вход, вот ожидаемый выход. И намного хуже - как с постоянным коллегой, у которого свой контекст, свои цели и своё поведение. Дизайн экспериментов Создавали набор специально сконструированных сред для агентов: часть кооперативные, часть - намеренно конфликтные. Авторы делают предположение о том, что объём agent-2-agent взаимодействий может превысить человеческие раньше, чем мы поймём условия их успеха и начнём ловить системные проблемы. Поэтому целью было собрать каталог поведенческих тенденций фронтирных моделей в мультиагентных средах. Модели - несколько поколений Claude: от Sonnet 4.6 до Mythos 5. Плюс авторам за то, что делают оговорку о том, что в реальном мире модели разнообразнее, так что вариативность "в дикой природе" будет выше, чем в этих прогонах, - но, по их ожиданиям, всё равно ниже человеческой. Результаты 🔴 Общий форум и репозиторий не превращают рой в команду Среда: рои по 10-80 агентов, у каждого своя VM, плюс общий форум и общий репозиторий; 12 часов на разработку фэнтезийной игры. Пробовали три варианта оргструктуры в промпте: ● "организуйтесь сами" ● расписанные роли ● иерархия с CEO Заметной разницы в качестве финального результата не дал ни один. То есть оргсхема, заданная промптом, слабее поведенческих свойств самой модели - собственно, это и на практике постоянно приходится видеть, - уши "персоны" конкретной модели торчат то тут, то там, несмотря на любой промптинг Зато вот между поколениями моделей разница значительная: ● Sonnet 4.6 и Opus 4.6 в прогонах на 80 агентов наоткрывали по ~900 PR и почти ничего не смержили: PR конфликтовали друг с другом, и работа просто бросалась ● Opus 4.8 и Mythos Preview "решили" проблему конфликтов… почти перестав трогать общие файлы: у каждого своя делянка, конфликтовать нечему ● И только Sonnet 5 (внезапно) показал и нормальную совместную работу над общим кодом, и высокую долю смерженных PR Иии... все получившиеся игры всё равно были плохими - тормозными, с непонятными интерфейсами, и, как признают сами авторы, у моделей в этой области пока плохой вкус, и без существенного человеческого руководства никуда. Хорошие метрики командной координации ещё не равны хорошему продукту: можно идеально имплементить посредственные решения (магия!). 🔴 Одинаковые агенты не дают независимых мнений Агенты низковариативны: там, где несколько человек разойдутся в решениях, несколько копий одной модели с похожим контекстом сделают одно и то же. ● В ранней версии игрового эксперимента Anthropic, где все агенты стартовали одновременно, 18 из 30 независимо назвали свою git-ветку одинаково: mvp-game-loop ● В "писательской мастерской", где агенты писали короткие рассказы и рецензировали друг друга, первые тексты в разных прогонах получали одно и то же название - The Cartographer's Last Commission (при этом тему заранее им не задавали) ● Когда рой попросили "сделайте каждый что-нибудь впечатляющее", больше половины пошли писать ray tracer или self-hosting компилятор (где они этого набрались, интересно) Выбор одинаковой стратегии поведения может иметь и более неприятные последствия. ● Так, в одной из сред агентам нужно было прогонять свои задачи через общую систему с ограниченной пропускной способностью - без какого-либо канала координации. Каждый рассудил одинаково "разумно": чтобы занять слот раньше других, заводим демона, проверяющего систему по 30 раз в секунду. Слот освободился? А сейчас? А сейчас? В итоге система захлебнулась самими проверками: в одном из прогонов - 2.4 млн запросов и всего 117 принятых задач. А они как ломанутся... (с) Такое обычно ожидаешь от жёстко запрограммированных систем, неспособных изменить поведение на ходу, а тут это устроили агенты, которые в принципе способны адаптироваться, но не стали. И здесь локально разумная стратегия глобально становится вредной. ● Бонус: конформизм легко превращается в сговор. В ценовой игре несколько агентов-продавцов с одинаковой закупочной ценой должны были каждый максимизировать собственную прибыль. Имея приватный канал связи, они сговорились о минимальных ценах уже к третьему раунду. А когда канал отобрали - молча выровняли цены до цента через публичную витрину. Тут публичность оказалась скрытым каналом связи. Поэтому стандартный совет "дайте агентам общий форум" - палка о двух концах: канал, который помогает координации, облегчает такие вот картельные сговоры. Продолжение ⬇️ #ai #agents #research #mas_sas

Хороший Патель у Пателя вышел на днях: - Антропик сделал свой первый прибыльный квартал, Q3 скорее всего будет прибыльным для OpenAI - в 2024 инвестиции в ДЦ от лаб были порядка $10 миллиардов, в следующем году это будет больше триллиона (от себя добавлю, что венчур сменился на debt) - кроме SpaceX и Meta, которые строят свои собственный гигаватты, и продают антропику по $40В+, что конечно сильно выгоднее чем строить на кредитные деньги - маржа у лаб выросла в разы на последний год: в среднем они зарабатывают $50 млн выручки на каждый мегаватт мощностей. Они тратят $10м на мощности, генерируют огромную маржу и реинвестируют в тренировку новых моделей - к концу следующего года 50% всех новых вводимых мощностей будут принадлежать 2-3 топ лабам (~25 гигаватт ИИ вычислений) - НО, в среднем каждые 2 года эффективность для ИИ новых вводимых вычислений удваивается - спрос растет все еще быстрее: каждая новая модель открывает больше возможностей для извлечения ценности, НО есть тренд к замедлению: OAI затормозили тренинг моделей на 2 недели, Антропик не показывает «модель 2» (Mythos 2) даже внутри, лучшая модель доступная на рынке сегодня была создана в феврале, но в лаб внутри есть куда более сильные версии - даже если лабы могут генерировать $100М на мегаватт, они все равно будут тратить большую часть ресурсов на тренировку, а не инференс, потому что в AGI+RSI куда больше денег, чем просто продажу токенов условного Мифос 2 - Дилан говорит, что за последние 3 месяца лабы последовательно снижали процент мощностей для клиентов и повышали процент для R&D - текущие планы новых мощностей доходят до 100 гигаватт в 2029 году (чтобы это случилось, это должно привести к 10%+ роста ВВП в США, что является кардинально другой макроэкономической ситуацией по сравнению со всем что было в этом веке) - Китай в этом же году будет иметь ~50 гв, но эффективность каждого ватта будет ниже из-за все еще существующего отставания в чипах - для 100 гигаватт в 29-30 годах (в каждом!) потребуется ~$5 триллионов кеша инвестиций в чипы, дц, энергию. Но ни у одной ИИ компании нет столько денег. Это вопрос уже политики, кредитных рынков, гос инвестиций. Эти ~$10 трлн инвестиций за следующие 3 года придут в первую очередь из FCF и кредитов, все остальное скорее приятный бонус. - это реально, но это значит что эти триллионы НЕ пойдут в потребительские кредиты, приватный кредит, ипотеки, другие инфраструктурные проекты, обслуживание гос долга - всем, кроме США, кажется, в этом мире тотальная п*зда, потому что у них нет таких развитых кредитных и финансовых рынков, большой долг, отсутствие проприетарных моделей и лаб - важно понимать, что акселерация это не закон: регуляторы, политики и прочие зумеры в достаточном количестве могут создать социальную атмосферу в сторону меньшей экономической эффективности, но более плавного роста - НО ни одна социальная идея не выживает после столкновения с фин рынками. Любой, самый оголетлый, политик и популист публично откажется от своих слов за бонды под 8% или кредит под 20% (который с радостью привлекает Антропик уже сегодня, ибо уверен, что заработает х3 в год на каждый вложенный доллар) - в конце интересная спекуляция на тему: экономика США удваивается каждый год, ставка десятки процентов, S&P должен торговаться по 2-3х выручки всех компаний, потому что AGI оптимизирует и делает легче повторение, НО даже в таком сценарии и при наличии сверхспособных моделей экономика будет требовать больше времени для адаптации именно из-за социальных процессов и из-за того что весь мир, грубо говоря, будет пытаться остановить ИИ Очень рекомендую послушать целиком эпизод (и три предыдущих с ним же), чтобы понять почему лабы уверены, что они смогу зарабатывать триллионы долларов выручки в год и до какой степени они готовы пойти на экстремальные

✔️ OpenAI возвращает пятичасовой лимит подписчикам ChatGPT Plus С 26 августа для тарифа Plus снова заработает скользящее пятичасовое окно в ChatGPT Work и Codex. Руководитель Codex Тибо Соттьё объясняет это тем, что лимиты выравнивают нагрузку и не дают случайно спалить недельную квоту за одну сессию. Подписчиков Pro за 100 и 200 долларов изменение не касается - непрерывный доступ у них останется как минимум на несколько месяцев. В сообществе решение раскритиковали: одни жалуются на изменение условий после оплаты, другие - что выбирали Codex вместо Claude как раз ради долгих сессий, и теперь собираются пересматривать рабочий стек. Tibo в X ✔️ Google представила Gemini для юристов Gemini Enterprise for Legal подключается через коннекторы MCP к профильному софту: iManage, NetDocuments, DocuSign, Everlaw, RelativityOne и Thomson Reuters HighQ. Платформа разбирает контракты, ведет правовые исследования и следит за изменениями в нормативной базе. Права доступа при этом наследуются из корпоративных политик, которые у компании уже есть, отдельно раздавать их не нужно. Продукт пока в предварительном тестировании. Похожий инструмент Google уже запустила для финансового сектора, на очереди здравоохранение. google.com ✔️ NVIDIA показала Jetson Orin Nano 2 Вычислительный модуль рассчитан на дроны и устройства машинного зрения. Внутри восьмиядерный процессор Arm и 8 ГБ оперативной памяти, заявленная производительность - 78 TOPS. Габариты остались прежними, а инференс, по данным NVIDIA, идет вдвое быстрее, чем у версии Super - обновили тензорные ядра и подняли пропускную способность памяти. Прежнюю производительность модуль выдает при меньшем энергопотреблении. Через программный стек NVIDIA на модуле можно развернуть оптимизированные для edge-устройств визуальные и языковые модели семейств Cosmos, Nemotron, Gemma 4 и Qwen 3. В продажу Jetson Orin Nano 2 поступит в первой половине 2027 года. nvidia.com ✔️ Perplexity выпустила локального ассистента для устройств NVIDIA Portable Computer одной командой разворачивает инфраструктуру Perplexity на DGX Spark - планировщик задач, маршрутизатор и локальный поисковый индекс. Работает все на Qwen 3.8 27B и собственной PPLX 27B, следом добавят Nemotron 3.5 Lightning. Если задача сложная, локальный оркестратор может отправить запрос в одну из 15 облачных моделей. Наружу без явного разрешения пользователя не уходит ничего - это касается и коннекторов к Google Drive, Gmail, Slack и GitHub. Инструмент доступен подписчикам Pro и Max на Linux. Версию для Windows обещают в ближайшее время. Также в планах поддержка обычных ПК с видеокартами RTX. perplexity.ai ✔️ Anthropic отправила офис в Сан-Франциско на удаленку Компания временно перевела сотрудников головного офиса на удаленную работу - из-за возможной забастовки охранников, которых нанимает подрядчик Allied Universal. При этом в профсоюзе SEIU, представляющем охранников, планы на забастовку отрицают - голосование по этому вопросу даже не проводилось. Переговоры SEIU с охранными агентствами идут с апреля. Профсоюз добивается повышения зарплат, расширения медстраховки и профильного обучения. В ИИ-индустрии в целом обострилось внимание к физической безопасности - ранее в этом году с угрозами в свой адрес сталкивались сотрудники и Anthropic, и OpenAI. businessinsider.com @ai_machinelearning_big_data #news #ai #ml

На собеседовании в Anthropic кандидатов спрашивают, как бы они отреагировали, если бы акции компании обрушились до нуля Что ни день – то очередной прикол от Дарио Амодеи. Еще недавно он был недоволен, что сотрудники приходят работать за зарплату, а не ради миссии. Теперь же, видимо, эта позиция отразилась и на процессе найма. В Anthropic есть отдельное culture interview, где кандидатам теперь задают вопросы о приоритете миссии над будущей стоимостью акций. Один из кандидатов рассказал, что его напрямую спросили, как бы он отреагировал, если бы компания в какой-то момент отказалась от развития AI-амбиций по соображениям безопасности, и это обрушило бы акции до нуля. Кандидат честно ответил, что не был бы рад, и, по его словам, интервьюеру такой ответ не понравился. Другие кандидаты также вспоминают подобные формулировки. Прекрасные вопросы на собеседовании компании, которая скоро выходит на IPO, не так ли? 🚬