Cloudflarei меняет систему управления автоматическим трафиком для всех клиентов, включая бесплатный тариф: вместо бинарного переключателя «блокировать AI-ботов или нет» появится управление тремя отдельными типами трафика — поисковая индексация, работа AI-агентов и обучение моделей. С 15 сентября 2026 года на новых доменах с рекламой обучение моделей и агентный доступ будут блокироваться по умолчанию, а поиск останется разрешён.

Главный удар придётся по многоцелевым краулерам типа Googlebot, Applebot и BingBot, которые одновременно собирают данные и для поиска, и для обучения моделей — с 15 сентября они будут оцениваться сразу по всем своим функциям и попадут под блокировку у всех сайтов, отключивших обучение. По логике Cloudflare, такое смешение функций даёт действующим поисковикам нечестное преимущество: сайт не может отказать в обучении, не потеряв видимость в поисковой выдаче.

• Cloudflare запускает базу данных ботов BotBasei для корпоративных клиентов
• В robots.txti добавляется новое поле, задающее допустимый уровень использования контента ботами
• Компаниям с крупными ботами (вероятно, включая Google, Apple, Microsoft) могут быть предложены отдельные договорённости; более мелким игрокам фактически предъявлен ультиматум — разделить функции ботов или потерять доступ к 20% доменов
• Cloudflare уже умеет брать плату с AI-компаний за сам факт сканирования сайтов
• В перспективе издатели смогут получать деньги ещё и за то, что их контент появляется непосредственно в выдаче AI-сервисов