Cloudflare обновляет управление AI-ботами и краулерами

Cloudflare заменяет бинарную настройку для владельцев сайтов «блокировать AI-ботов» на управление тремя типами автоматического трафика — поисковая индексация, агенты и обучение моделей — для всех клиентов, включая бесплатный тариф. С 15 сентября 2026 года для новых доменов на страницах с рекламой обучение и агенты будут блокироваться по умолчанию, а поиск — разрешаться. Компания также запускает базу данных ботов BotBase для корпоративных клиентов и расширяет сигналы в robots.txt полем, задающим допустимый уровень использования контента. С той же даты многоцелевые краулеры будут оцениваться по всем своим функциям сразу, например, Googlebot, Applebot и BingBot, собирающие данные одновременно для поиска и обучения, попадут под блокировку у всех, кто запретил обучение. По мнению сервиса, совмещение поиска и обучения в одном боте даёт действующим поисковикам нечестное преимущество — сайт не может отказать в обучении, не потеряв видимость в выдаче. Возможно, с самыми большими ботами будут действовать какие-то отдельные договоренности, но вот компаниям помельче фактически предъявляется ультиматум — или разделяйте ботов, или теряйте доступ к 20% доменов. https://blog.cloudflare.com/content-independence-day-ai-options/