Cloudflare заставит ИИ-компании платить за контент издателей

Компания Cloudflare установила для индустрии ИИ новый крайний срок для разделения веб-краулеров, используемых для традиционного поиска, например, Google Search, от тех, которые используются для ИИ-агентов и обучения ^[1]. Начиная с 15 сентября 2026 года, настройки Cloudflare по умолчанию будут блокировать «смешанные» краулеры на страницах, содержащих рекламу.

Это означает, что краулеры, которые сочетают поиск, использование в качестве агента и обучение, будут по умолчанию заблокированы для сканирования таких сайтов, если владелец не изменит настройки. Эти изменения настроек по умолчанию будут применяться к новым клиентам Cloudflare, новым сайтам, созданным существующими клиентами, и всем существующим бесплатным клиентам, заявляет компания.

Шаг может повлиять на то, как поставщики моделей ИИ смогут получать доступ к веб-контенту для целей обучения и для работы своих агентских сервисов.

Cloudflare отмечает, что большинство владельцев веб-сайтов хотят, чтобы их контент был доступен через поиск, а часто и через сервисы ИИ, но при этом они также хотят защиты от бесплатной передачи своей интеллектуальной собственности.

Cloudflare специально указывает на «крупнейшую в мире поисковую систему», утверждая, что у неё есть доступ примерно к «в два раза большему объёму информации», чем у других компаний, занимающихся ИИ, потому что поисковый гигант затрудняет поиск пользователей без использования их ресурсов для искусственного интеллекта ^[2].

Google ранее опровергала это обобщение, отмечая, что предоставляет бота под названием Google Extended, который позволяет владельцам сайтов отказаться от использования их контента для обучения и продуктов и услуг ИИ, таких как Gemini Apps и Vertex API. Его использование не влияет на отображение сайта в результатах поиска Google. Однако флагманский бот Googlebot сканирует сайты для поиска, включая такие функции ИИ, как обзоры ИИ и режим ИИ.

«Теперь, когда большая часть трафика в интернете — это не человеческий трафик, мы должны двигаться дальше и действовать быстрее, чтобы могла возникнуть устойчивая экосистема», — заявил соучредитель и генеральный директор Cloudflare Мэтью Принс, имея в виду недавний рубеж, когда боты впервые превзошли ^[3] человеческий трафик в интернете. Ожидалось, что этот сдвиг произойдёт не раньше следующего года.

«Новые инструменты и партнёрства Cloudflare предоставляют владельцам веб-сайтов расширенные возможности для повышения видимости и коммерческой эффективности, а также приносят пользу компаниям, занимающимся искусственным интеллектом, которые используют ботов с чёткими и прозрачными намерениями. Мы надеемся, что предлагаемые нами изменения по умолчанию побудят краулеров смешанного назначения разделять поиск и использование агентов, а также обучение», — сказал Принс.

Хотя Cloudflare предлагает ряд продуктов, помогающих пользователям запускать собственные системы искусственного интеллекта, компания также выпустила ряд инструментов, предоставляющих издателям больший контроль над своим контентом в эпоху ИИ. В последние годы компания запустила инструменты для борьбы с ботами на основе ИИ, включая маркетплейс, позволяющий веб-сайтам взимать плату с ботов за сбор данных, получивший название «Оплата за сканирование» (Pay Per Crawl).

Последний вариант теперь также трансформируется в «Оплата за использование» (Pay Per Use), что позволит издателям взимать плату с компаний, занимающихся искусственным интеллектом, когда их контент создает ценность, а не только когда он загружается.

Это изменение также может помочь издателям экономить пропускную способность и вычислительные ресурсы для поставщиков моделей ИИ, поскольку данные Cloudflare показывают, что более 50% трафика от краулеров ИИ тратится на повторную загрузку неизмененных страниц.

Для реализации этого Cloudflare первоначально сотрудничает с двумя партнёрами: Ceramic.ai и You.com. Когда издатель подключается к этой системе, он получает оплату, когда его контент появляется в результатах поиска Ceramic.ai или когда You.com получает доступ к части его премиум-контента.

Другие компании, занимающиеся ИИ, могут адаптировать эту модель под свои нужды, сообщает Cloudflare.

В июле 2025 года Cloudflare представила ^[4] инструмент Pay Per Crawl, который позволяет владельцам сайтов установить собственную цену за запросы ИИ‑ботов. Это решение интегрируется с существующей веб‑инфраструктурой Cloudflare, используя коды статуса HTTP и установленные механизмы аутентификации для создания фреймворка для платного доступа к контенту.

В июне компания объявила ^[5] о начале работы над браузерным протоколом PACT (Private Access Control Tokens), предназначенным для определения легитимного трафика. Он не требует авторизации, сбора данных и CAPTCHA. Помимо Cloudflare, в разработке участвуют Mozilla, Google, Microsoft и Shopify; технологию планируют предлагать в качестве открытого стандарта.