Cloudflare вводит блокировку AI-краулеров для защиты контента издателей

Cloudflare придумал, как заставить AI-компании платить за контент С 15 сентября Cloudflare заблокирует поисковых роботов, которые делают всё сразу: индексируют контент для интернет-поиска, помогают работать AI-агентам и собирают данные для обучения AI. Блокировка включится по умолчанию на всех сайтах, размещающих рекламу. Идея в том, чтобы AI-компании честно разделяли сценарии. Поиск — отдельно. Обучение моделей и агентный доступ — отдельно. Сейчас часть краулеров смешивает всё вместе. Cloudflare уже умеет брать оплату за сканирование сайтов в AI-целях. Скоро издатели смогут получать деньги не только за сам факт сбора данных, но и когда их контент появляется в выдаче AI-сервисов. https://techcrunch.com/2026/07/01/cloudflares-new-policy-pushes-ai-companies-to-pay-for-publishers-content/