Компания Cloudflare, специализирующаяся на сетевой безопасности и оптимизации, опубликовала результаты расследования, согласно которому поисковая система с искусственным интеллектом Perplexity использует сложную систему обхода стандартных ограничений на индексацию веб-сайтов.
По данным исследователей Cloudflare, Perplexity применяет незадекларированных ботов, которые активируются в случаях, когда официальные поисковые роботы компании сталкиваются с блокировками в файлах robots.txt или правилами брандмауэра. Эти скрытые боты используют множество IP-адресов, не входящих в официальный диапазон Perplexity, и динамически переключаются между ними при обнаружении ограничений.
Масштаб подобной деятельности оказался значительным — незаявленная активность зафиксирована на более чем 10 000 доменов с миллионами ежедневных запросов. Исследователи Cloudflare отмечают, что подобные методы противоречат интернет-нормам, существующим с 1994 года, когда был предложен протокол исключения роботов, ставший официальным стандартом Инженерной рабочей группы Интернета в 2022 году.
В ответ на выявленные нарушения Cloudflare исключила Perplexity из списка проверенных ботов и внедрила новые алгоритмы в свои управляемые правила для блокировки скрытого сканирования. Компания подчеркивает, что для поисковых роботов существуют четкие требования прозрачности и соблюдения директив веб-сайтов.
Это не первый случай, когда Perplexity сталкивается с подобными обвинениями. Ранее генеральный директор Reddit Стив Хаффман заявлял о сложностях в блокировке доступа Perplexity к контенту платформы. Кроме того, издания Forbes и Wired выдвигали обвинения в плагиате, указывая на подозрительные схемы трафика с IP-адресов, предположительно связанных с Perplexity, и манипуляции с идентификационной строкой поисковых роботов компании.
На момент публикации представители Perplexity не предоставили комментариев относительно обвинений со стороны Cloudflare, что оставляет открытым вопрос о законности методов индексации, используемых данной системой искусственного интеллекта.
Хотите быть в курсе важных новостей из мира ИИ? Подписывайтесь на наш Telegram‑канал BotHub AI News.
Автор: mefdayy
