Cloudflare позволит веб-сайтам взимать плату с ИИ-ботов за сбор данных (скраппинг) из веб-ресурсов

Cloudflare объявила ^[1], что запустит торговую площадку, которая позволяет веб‑сайтам взимать плату с ИИ‑ботов за сбор данных (скраппинг) из веб‑ресурсов.

С 1 июля 2025 года Cloudflare активировала в тестовом режиме для своих клиентов на всех их сайтах функцию блокировки ИИ‑краулеров, чтобы запретить ИИ обучаться на контенте без разрешения самих авторов.

В рамках предоставления сетевых услуг платформа Cloudflare пояснила, что создатели контента и владельцы сайтов должны самостоятельно решать, предоставлять ли ИИ‑ботам доступ к своему контенту.

Cloudflare представила инструмент Pay Per Crawl ^[2], который позволит владельцам сайтов установить собственную цену за запросы ИИ‑ботов. Это решение интегрируется с существующей веб‑инфраструктурой Cloudflare, используя коды статуса HTTP и установленные механизмы аутентификации для создания фреймворка для платного доступа к контенту.

В настоящее время опция Pay Per Crawl находится на стадии закрытого бета‑тестирования. Формально же у владельцев сайтов на Cloudflare появится выбор: бесплатно предоставлять доступ ИИ‑моделям для обучения ^[3], взимать за это фиксированную плату или запретить доступ полностью.

Ранее генеральный директор Cloudflare заявил ^[4], что издатели сталкиваются с угрозой существования из‑за ИИ. По его словам, доверие пользователей к ИИ растёт, и это приводит к тому, что они всё реже обращаются к первоисточникам.