Cloudflarei меняет систему управления автоматическим трафиком для всех клиентов, включая бесплатный тариф: вместо бинарного переключателя «блокировать AI-ботов или нет» появится управление тремя отдельными типами трафика — поисковая индексация, работа AI-агентов и обучение моделей. С 15 сентября 2026 года на новых доменах с рекламой обучение моделей и агентный доступ будут блокироваться по умолчанию, а поиск останется разрешён.
Главный удар придётся по многоцелевым краулерам типа Googlebot, Applebot и BingBot, которые одновременно собирают данные и для поиска, и для обучения моделей — с 15 сентября они будут оцениваться сразу по всем своим функциям и попадут под блокировку у всех сайтов, отключивших обучение. По логике Cloudflare, такое смешение функций даёт действующим поисковикам нечестное преимущество: сайт не может отказать в обучении, не потеряв видимость в поисковой выдаче.