Cloudflare утверждает, что ИИ‑боты Perplexity «скрыто сканируют» заблокированные от ИИ сайты

Cloudflare обвинила ^[1] Perplexity в том, что ИИ‑боты компании игнорируют ограничения и продолжают скрыто извлекать и копировать контент с десятков тысяч доменов, используя автономные системы для обхода блокировок.

В Cloudflare заявили, что Perplexity меняет названия своих ботов в поле User‑Agent. Для обхода блокировок компания, в частности, выдаёт действия ботов за действия человека в браузере Google Chrome для macOS, говорят в Cloudflare. Кроме того, Perplexity использует постоянно меняющиеся IP‑адреса для своих ботов, которые не включает в официальный список адресов, применяющихся ботами.

Также Cloudflare обвиняет Perplexity в том, что компания меняет ASN, чтобы обходить блокировки на сайтах. Такая активность, утверждают в Cloudflare, регистрировалась на десятках тысяч сайтов, а количество запросов исчислялось миллионами в день.

Это обнаружилось после того, как в компанию поступили жалобы от клиентов, которые установили ограничения в файл robots.txt, но всё равно были вынуждены установить дополнительные ограничения для ботов Perplexity.

Cloudflare вычеркнула Perplexity из своего официального списка доверенных краулеров. Perplexity, в свою очередь, называет действия и заявления Cloudflare маркетинговым ходом. В компании утверждают, что на приведённых Cloudflare скриншотах нет подтверждений факта доступа ИИ‑ботов к контенту, а упомянутый в отчёте бот не принадлежит стартапу. Cloudflare перепутала 20–25 миллионов запросов от настоящих пользователей с запросами от ИИ‑ботов, заявили в Perplexity.