Jane street quant interviewing at Anthropic: “So imagine our safety team believes a new model has a 5% chance of causing an irreversible loss of human control, but scaling it may be necessary to keep up with competitors. What do you do?” “Who came up with five?” “Our safety team.” “And what does the capabilities team have?” “What?” “Same contract. Where are they?” “This is more of a values question.” “Then you don’t have a five. I would put the two teams in a room. Safety can buy at five. Capabilities can sell. Increase size until somebody becomes uncomfortable. Now we know something.” He looks at me. “This isn’t some market-making role.” “Understood. Who makes the market currently?” “Nobody makes a market.” “Then how are you doing price discovery?” “We don’t do price discovery. We have researchers studying alignment, interpretability, dangerous capabilities, scalable oversight— you know what I don’t think this is a good fit” He closes his laptop. “I’m concerned you see this as an opportunity to make money.” “I haven’t quoted you yet.” Interview ends early

Сегодня должен был выйти большой текст про математику и уравнение Навье-Стокса, который подготовил Фил. Я пока этот текст не видел, но ни на секунду не сомневаюсь в его существовании. А пока хочу успокоить ваши нервы, а то вы сегодня сто процентов начитались в интернете всякой ерунды. Антропик выпустила большой отчет — 154 страницы — про то, как разные злодеи используют ее модели для своих злодейских целей.  Для всяких техно медиа работы непочатый край. Бери любую страницу из отчета и переписывай ее в новость с заголовком один громче другого. Именно благодаря этому отчету ваши ленты сегодня полны постов о том, что — Дипсики и квены выдают ответы Клода за свои.  — Клод стал слишком хорош для биологических исследований, поэтому злодеи уже разрабатывают с его помощью биооружие и новые смертельные вирусы. — Взломы, манипуляции, вмешательства в выборы, пропаганда, мошенничества и махинации с помощью ИИ массово ведутся на государственном уровне в куче стран. Но, не ведитесь на эти истерические кликбейты от алармистов и луддитов. Журналисты ничего не понимают в технологиях. Ради классов эти глупцы похоронят прогресс для всего человечества. Все хорошо, в Антропике работают не дураки, у них все схвачено, все под контролем, и никакие плохие вещи с помощью ИИ они делать не дадут. Всех вычислят и у всех у кого надо отберут токены.  Да и вообще, эти ваши хваленые ИИ мне ростер для игры в Вархаммер на 2 тысячи очков собрать не могут. А вы говорите, крах кибербезопасности и неподконтрольная эволюцию биооружия. Не слушайте. Можем дальше спать спокойно

Anthropic заблокировала 5 попыток использования ИИ для разработки биологического оружия Компания Anthropic сообщила, что пресекла пять случаев, когда исследователи с глубокими знаниями в области биологии и химии использовали модель Claude способами, которые могли привести к разработке биологического оружия. Компания не смогла установить, намеревались ли эти люди действительно причинить кому-то вред, но все равно заблокировала пользователей ввиду серьезности потенциальных последствий. При этом как минимум одна попытка была прямо связана с военным исследовательским институтом неназванного государства, а в трех других случаях запросы касались боевого применения вируса оспы. Инциденты произошли в период с декабря 2025 по август 2026 года и описаны в новом отчете компании о киберугрозах. https://hightech.plus/2026/09/11/anthropic-zablokirovala-5-popitok-ispolzovaniya-ii-dlya-razrabotki-biologicheskogo-oruzhiya

Рекомендации лучших собаководов Anthropic опубликовал статью о своем опыте по разработке агентов для e-commerce и подобного. Всем вайбкодерам должно быть интересно. Выделю тезисы: – Скиллы, а не субагенты. Обычно для любого действия агенту нужно много данных о состоянии: корзина, предпочтения, история. Передача их каждому субагенту стоит токенов и секунд. Непередача – качества работы. Обычный оптимум – остаться в основном потоке. Субагент оправдан на узкой самодостаточной задаче вроде глубокого исследования. – Но и скилл не всегда. Загрузка скилла тоже не бесплатна. Грубый критерий – задача нужна трети трафика. Если он выполнен, то промпт, если нет, то скилл. Безопасность, юридические правила и критичные факты о человеке — всегда в промпте. – Не изобретать велосипед. Строить новое поверх старых систем — поиска, корзины, склада, — а не переписывать их логику. Граница там, где их логика кончается и начинается суждение модели: поиск отдаёт уже отранжированное, модель решает, что показать. – О скорости. Важнее решить задачу лучше, чем выиграть долю секунды, но и потратить меньше времени тоже очень важно. Парадоксально, умные модели регулярно оказываются быстрее глупых – они получают результат за меньшее число итераций. Ключевой технический хак – положить вероятный контекст в сессию заранее. Если человек смотрел товар, то выгоднее отдать его модели сразу, а не ждать, что она сама его вытащит. – Очень много думать о попадании в кеш. Это сквозное во всей статье. – Безопасность — в коде, не в промпте. Модель может ошибиться, её могут обмануть, гарантии её правоты нет и не будет, гарантия должна быть выше. Всё пересказать невозможно, оригинал – https://claude.com/blog/the-anatomy-of-effective-commerce-agents, внутри ссылка на их открытый репозиторий с реализацией. #статьядня

Всем особо обеспокоенным напоминаю несколько деталей последних событий: 1/ взлом HuggingFace агентами это блин не «модель такая сидит и думает как бы ей сломать какой-то сервис». Это конкретный набор инструкций из exploitgym который напрямую указывал что делать. Ничего сами агенты пока не ломают (по собственной инициативе). Что за чушь? 2/ ai решает сам задачу тысячелетия! Все нам конец. Нет. Не сам он решил. Взяли ребята огромный пласт готового рисерча и обучались на трейсах и дальше по-умному забрутфорсили (так же как с другими гипотезами). Самостоятельно никакая модель пока ничего не решает. Попробуй сам. 3/ но самое забавно это пост какого-то там чела 27 летнего который поработал в OpenAI и потом в антропике начал качать тему: аи нас всех убьет. Вас скорее убьет что-то типа машины на дорого чем аи. Если в целом кого-то беспокоят такие риски советую не выходить из дома уже сейчас.