Поисковые боты OpenAI на время вывели из строя сайт Triplegangers

Сайт компании 3D-моделей Triplegangers в первые выходные января перестал ^[1] работать из-за распределённой атаки типа «отказ в обслуживании». Её вызвали поисковые боты от OpenAI.

«У нас более 65 тысяч позиций, и у каждой есть страница. На каждой странице есть как минимум три фотографии», — рассказал генеральный директор Triplegangers Александр Томчук. По его словам, боты OpenAI отправляли «десятки тысяч» запросов к серверу, пытаясь загрузить все эти сотни тысяч фотографий вместе с их подробными описаниями.

«OpenAI использовала 600 IP-адресов для веб-скрапинга, и мы всё ещё анализируем журналы с прошлой недели, поэтому возможно, что их гораздо больше. По сути, это была DDoS-атака», — отметил Томчук.

Сайт Triplegangers продаёт файлы 3D-объектов, а также фотографии — от рук до волос, кожи и до полных изображений тел — 3D-художникам, создателям видеоигр и другим участникам рынка.

При этом правилами сайта ботам запрещено использовать изображения без разрешения. Однако до последнего момента в Triplegangers не редактировали файл robots.txt, чтобы включить в него запрет для работы ботов OpenAI GPTBot, ChatGPT-User или OAI-SearchBot.

Теперь Triplegangers, помимо недополученной прибыли, ещё и должен будет оплатить повышенный счёт AWS из-за активности ЦП и загрузок бота.

Компания уже отредактировала файл robots.txt для блокировки GPTBot и нескольких других ботов, в том числе Barkrowler и Bytespider. Но Томчук говорит, что он так и не смог выяснить, какие данные с сайта успела выгрузить OpenAI. Он не нашёл способа связаться с компанией. Сама OpenAI не ответила на запрос TechCrunch о комментарии. 

Отсутствие обратной связи представляет угрозу для Triplegangers. «Мы работаем в бизнесе, где права являются довольно серьёзной проблемой, потому что мы сканируем реальных людей. Теперь нам приходится ежедневно отслеживать активность журналов, чтобы обнаружить этих ботов», — пояснил Томчук. 

Ранее владельцы других веб-сайтов пожаловались, что боты OpenAI обрушили их сайты и увеличили их счета AWS. Исследование компании по цифровой рекламе DoubleVerify показало, что веб-скраперы ИИ в 2024 году способствовали увеличению трафика на 86%.

В декабре Cloudflare уже внедрила ^[2] в панель управления аудита ИИ новую функцию, которую шутливо назвала Robotcop. Она позволит проверить, какие ИИ-службы соблюдают политики robots.txt, а какие нет, а затем программно применять эти политики.