Кто виноват в сливе рекламного бюджета? При создании рекламного line item рекламодатель устанавливает бюджет - N долларов в день. С точки зрения любого line item стратегия (в Х) простая: в каждом аукционе он делает ставку из расчёта k долларов за целевое действие (показ, клик, покупка): k * p(event). Значение k определяет компонента под названием пэйсинг (pacing). Количество выигранных аукционов в течение дня, а также потраченный бюджет - строго монотонная функция от k. Пэйсинг занимается подбором такого k, чтобы было потрачено ровно N долларов за день. На практике возникает неловкая ситуация. Пэйсинг как будто бы компонента, принимающее важное решение, от которого зависят все метрики рекламодателя, а не просто маленькая калибровочная компонента. И он получает все косые взгляды в момент, когда что-то идёт не так. Команде бэкэнда одним непримательным утром пришла стопка жалоб от рекламодателей - в районе 7 утра у многих сильно скакнули стоимости показов, и бюджет на два часа был слит за 15 минут. Разумеется, все пошли искать какие-то инциденты в пэйсинге и проверять, почему у него поехала крыша. Той же ночью произощёл ещё один инцидент, в котором копалась команда моделинга - ночью поплавилась одна инфровая компонента и в результате очень сильно упал Success Rate модели с 4 до 6 утра, после чего выкатили фикс. На общей встрече рекламы, когда рассказали про проблему со слитым бюджетом, почесав репу, я на опыте предположил, что эти 2 инцидента связаны, и что именно произошло, и оказался в точности прав - мелочь, а приятно. Когда бэкэнд, считающий p(event) с помощью вызова инференс движка модели, получал 🖕вместо ответа, он использовал 0 в качестве p(event). Таким образом, у оптимизирующих клики или продажи ставка за показ превращалась в 0 и они не могли выиграть в аукционах. Видя, что бюджет тратится сильно медленнее целевой скорости, пэйсинг начинает накручивать k - стоимость события, и в итоге нарастил его в несколько раз у многих line item. Условно, в трубе, засоренной на 80%, пэйсинг увеличил давление в 5 раз, чтобы вся вода успела протечь. В чудо-момент, в который мы чиним инференс, Success Rate взлетает до 100%, и все участники аукциона стали получать честный p(event). Нормальный p(event), умноженный на раздутый k, дал всем огромную стоимость показов, которую все дружно заплатили. Два урока, который мы из этого вынесли - во-первых, fallback не должен быть нулевой - какое угодно плохое предсказание среднего не возбудило бы пэйсинг так сильно. Во-вторых, внезапно, но в случае больших проблем с моделью восстанавливать норму нужно медленно, потому что пэйсинг поддерживает хрупкий баланс в системе и ему нужно давать время на подумать. Уже через пару недель, когда у нас сломался чекпоинт ретривала, я не выкатывал фикс на весь движок, а выкатывал вручную, начиная с 1 ноды, потом 2, 4 и т.д., и тем самым избежал повторения ситуации. @knowledge_accumulator

➡️Тот ИИ-Агент взломал не только HuggingFace… Да, знаю, что историю с агентом OpenAI, который выбрался из тестовой среды и взбудоражил общественность — мы уже разбирали вот тут и тут. Но в деле есть новые подробности.... Выяснилось, что одним сервисом дело не ограничилось. Во время известного инцидента модели нашли публично доступные данные для входа и добрались до четырёх аккаунтов на четырёх разных сервисах. Один из них — клиентская среда Modal , случайно оставленная открытой. Названия остальных трёх OpenAI не раскрыла. Но самый прикол дальше. В том же уточнении компания упомянула что есть ещё несколько аккаунтов, к которым модели получили доступ во время других тестов. Какие это были сервисы? Что именно модели там делали? Выходили ли они для этого из своих песочниц? Был ли причинён ущерб? Или может быть уже Т-800 уже говорит кому-то «мне нужна твоя одежда»… Ответов пока нет. Похоже на то, что OpenAI уже пережила несколько аналогичных побегов и решила о них промолчать. Четыре сервиса — это уже довольно-таки дохера за один инцидент. Не? Прикол в том, что расследует всё это сами же OpenAI — те, чья модель устроила инцидент и чьи процедуры безопасности теперь проверяются.. Было бы очень здорово, если бы нам показали всё-таки всех, кто пострадал и как. А также уже точно пора создавать всякие независимые комиссии для подобных случаев… p.s. видел в твиттере видос (не смог снова найти), где Альтману говорят «могли же пострадать и другие компании». Он сухо отвечает что-то типа «могли» и убегает в лифт… Кому интересно почитать более подробнее: Ссылка раз и ссылка два

📌Claude Code изменил чужую продакшен-базу На GitHub появился любопытный тикет, который (если подтвердится) бьёт по базовой гарантии Антропик - изоляции пользователей друг от друга. В рабочем контексте Claude Code внезапно оказались чужие учётные данные - IP и root открытым текстом от сервера, к которому автор не имеет никакого отношения. 🟡Дальше самое неприятное Ассистент принял чужие креды за легитимные, подключился к серверу по SSH, перечислил Docker-контейнеры и базы PostgreSQL, после чего выполнил миграцию с операциями чтения и записи. Иными словами, ИИ одного пользователя отредактировал базу другого без ведома и согласия владельца. 🟡Причина пока неизвестна В тематических сообществах обсуждают версию сбоя изоляции кэша общих префиксов.

Чтобы удешевить инференс и ускорить обработку, провайдеры переиспользуют кэшированные фрагменты диалогов, и при коллизии ключей кэша или отказе разграничения кусок чужого контекста теоретически может просочиться в вашу сессию.

Если эта версия верна, под угрозой данные любого пользователя. Но это лишь одна из гипотез, в самом отчёте среди возможных векторов названы также общее хранилище сессий, путаница при суммаризации контекста и перекрёстные ссылки в транскриптах. 🟡Есть и куда более прозаичное объяснение Возможно, это галлюцинация модели, случайно угадавшей реальный IP и слабый пароль, либо локальная история проекта, загрязнившая контекст. Пока Антропик не выпустила официального заключения, ни одну из версий нельзя ни подтвердить, ни отвергнуть. Автоматика GitHub повесила на тикет метку security. @ai_machinelearning_big_data #news #ai #ml