Cloudflare заблокировала 416 млрд запросов ИИ-ботов на парсинг за пять месяцев

Генеральный директор Cloudflare Мэтью Принс заявил ^[1], что компания заблокировала более 416 млрд запросов от ИИ-ботов с июля этого года. Такую работу провели в рамках инициативы «День независимости контента». Функция Cloudflare позволяет владельцам веб-сайтов блокировать ИИ-ботов по умолчанию, если их владелец не заплатит за доступ к контенту.

Хотя Cloudflare блокирует практически всех ИИ-ботов, не нанося ущерба онлайн-присутствию своих клиентов, но это не касается Google, которая объединила свой поисковый и ИИ-бот в один. В итоге пользователи, отказавшиеся от ИИ-бота Google, не будут индексироваться и в результатах поиска. «Нельзя использовать свою вчерашнюю монопольную позицию, чтобы укрепить монопольное положение на рынке завтра», — отмечает Принс. 

Гендиректор компании заявил, что Cloudflare стремится к будущему, в котором создатели контента и его поставщики смогут развиваться на равных условиях.

Накануне в работе инфраструктуры Cloudflare произошёл масштабный сбой, уже второй за последний месяц. До этого, 18 ноября, в течение нескольких часов тоже не работали многие сайты, платформы и облачные сервисы по всему миру, включая Indeed, Grindr, Uber, Canva, Spotify, некоторые соцсети, игровые площадки, а также ChatGPT. Позднее в Cloudflare раскрыли ^[2] причину сбоя. Оказалось, что это была ошибка ^[3] в файле конфигурации системы защиты от ботов, который перед началом инцидента был обновлён инженерами в плановом порядке.