Основатель Neocities потратил недели на общение с техподдержкой Microsoft после блокировки своих сайтов

Основатель Neocities Кайл Дрейк провёл ^[1] несколько недель в цепочке автоматизированной поддержки Microsoft после того, как обнаружил, что поисковик Bing незаметно заблокировал все 1,5 миллиона веб-сайтов, размещённых на его платформе.

Основанный в 2013 году для сохранения «эстетической крутости» веб-сайтов GeoCities, проект Neocities поддерживает ^[2] дух интернета 1990-х годов. Он позволяет ^[3] пользователям создавать бесплатные ресурсы, не полагаясь на стандартные шаблоны. Neocities предоставляет им чистый холст, который можно бесконечно персонализировать. 

Прошлым летом Дрейк заметил, что Bing блокировал сайты Neocities. Сначала проблема, казалось, была решена после обращения в Microsoft. В январе после получения более свежих сообщений о проблемах со входом в систему создатель Neocities снова заметил блокировку. При этом после удаления главной страницы Bing начал перенаправлять пользователей на сайт-клон, где требовалось предоставлять учётные данные для входа.

Отслеживая статистику, Дрейк увидел, что трафик Bing внезапно упал с примерно полумиллиона ежедневных посетителей до нуля. Он немедленно сообщил о проблеме, используя инструменты поисковика для веб-мастеров. Разработчик надеялся на скорейшее решение проблемы, так как данные пользователей были под угрозой.

«Этот сайт был просто копией нашей главной страницы, я не знал, фишинговая это атака или что-то ещё, я просто подумал: “Ух ты, что это такое?”» — отмечает Дрейк. Однако спустя недели он продолжал сталкиваться с одной проблемой за другой, отправив почти десяток заявок в службу поддержки, пытаясь обойти чат-бот Bing и найти сотрудника, который мог бы решить проблему. Дрейк пробовал и другие внутренние каналы, включая предложение купить рекламу, чтобы посмотреть, сможет ли кто-нибудь из рекламного отдела помочь ему.

Хотя Bing занимает всего около 4,5% мирового рынка поисковых систем, Дрейк отметил, что многие другие поисковые системы лицензируют его данные, и это ещё больше усугубляет проблему.

Разработчик подозревает, что его заявки в службу поддержки теряются среди, вероятно, триллионов запросов каждый день от людей, желающих улучшить индексацию своих сайтов в Bing.

Издание Ars обратилось за комментариями в Microsoft, и компания приняла меры по снятию некоторых блокировок. В течение 24 часов сайт Neocities появился на главной странице результатов поиска, но Дрейк провёл тесты в течение следующих нескольких дней, которые показали, что большинство поддоменов по-прежнему блокируются, включая популярные ресурсы, которые должны занимать высокие позиции в поисковой выдаче. Так, один из самых долго существующих и популярных ресурсов, Wired Sound for Wired People, пропал из выдачи поисковика. 

В ответ на просьбу провести дальнейшее расследование Microsoft подтвердила, что некоторые сайты Neocities были удалены за нарушение правил, призванных не допускать низкокачественные ресурсы в результаты поиска. Однако компания отказалась назвать проблемные сайты или напрямую связаться с Neocities для решения проблемы. Вместо этого Microsoft рекомендовала проекту найти способ работать напрямую с корпорацией.

Дрейк считает текущее положение дел «неясным». Трудно сказать, блокируются ли популярные сайты Neocities по-прежнему или же процесс переиндексации Bing замедляется, говорит он.

Разработчик по-прежнему надеется, что Microsoft устранит все необоснованные блокировки. Учитывая количество ИИ-мусора, Дрейк считает Neocities «одним из последних бастионов человеческого контента».

«Я надеюсь, что мы сможем урегулировать это мирным путем для обеих сторон, и что это больше не повторится в будущем. Для будущего малого интернета и для качественного контента для пользователей в мире, где всё большее значение приобретает генеративный искусственный интеллект ^[4], крайне важно, чтобы креативные сайты, созданные реальными людьми, имели равные шансы на попадание в результаты поиска», — сказал разработчик.

Дрейк также решил предупредить пользователей о потенциальных рисках, связанных с удалением Neocities из результатов поиска. В своём блоге в конце января он написал ^[5], что Bing «полностью заблокировал» все поддомены Neocities и разместил «то, что выглядело как фишинговая атака».

После «нескольких» жалоб Bing в конечном итоге понизил рейтинг предполагаемого фишингового сайта, подтвердил Дрейк, но поисковик «отказался отменить блокировку или предоставить чёткое, действенное объяснение тому», что делает пользователей Neocities уязвимыми. Поскольку «получить более высокий PageRank, чем у заблокированного сайта, довольно легко», Дрейк предупредил, что «возможно, это лишь вопрос времени, когда в результатах поиска Bing появится ещё один проблемный сайт, связанный с Neocities».

При этом разработчик отмечает, что Google не блокирует Neocities. Дрейк написал: «Мы рекомендуем пользователям Neocities и всему Интернету в целом не использовать Bing или поисковые системы, которые получают результаты из Bing, пока эта проблема не будет решена».

«Мы не хотели писать этот пост. Мы очень стараемся поддерживать хорошие отношения с поставщиками поисковых систем. Мы бы предпочли тихо решить эту проблему с сотрудниками Bing и двигаться дальше. Но после нескольких месяцев попыток конструктивного взаимодействия по различным каналам стало ясно, что молчание только вредит нашим пользователям. Особенно тем, кто не знает, что их сайты невидимы в некоторых поисковых системах», — так разработчик завершил свой пост в блоге.

Дрейк рассказал Ars, что Neocities размещает 1 459 700 веб-сайтов, которые привлекли 13 млрд посетителей. За эти годы о проекте писали Wired и The New York Times, а в последнее время он стал популярным центром для игровых сообществ.

По мере роста Neocities, как отметил Дрейк, он уделял большое внимание ^[6] улучшению модерации контента. Разработчик тесно сотрудничает со штатным сотрудником, занимающимся модерацией, чтобы оперативно удалять любые проблемные сайты в течение 24 часов. Эта работа включает в себя проверку отчётов и проактивную проверку новых сайтов, а Дрейк отмечает, что «поставщик доменных имен требует от нас удалять их в течение 48 часов».

Microsoft запрещает такие действия, как сбор контента, который может считаться нарушением авторских прав, или автоматическую генерацию контента с использованием «мусорного текста» для манипулирования рейтингом. Компания также отслеживает вредоносное поведение ^[7], например, фишинг, и атаки с внедрением всплывающих окон на обширную языковую модель Bing. Неясно, какие именно нарушения Microsoft обнаружила перед введением полной блокировки. Сам Дрейк сообщил Ars, что пока не выявил никакого контента, который мог бы её вызвать. Он сказал, что незамедлительно удалит любые сайты, отмеченные Microsoft, если сможет поговорить с кем-нибудь, кто сможет поделиться этой информацией.

«Естественно, мы всё ещё не отлавливаем 100% сайтов с помощью проактивной модерации, и иногда некоторые проблемные ресурсы остаются незамеченными», — признаёт Дрейк.

«У нас одно из самых низких соотношений мусора к легитимному контенту, контенту, созданному людьми, в интернете. И очень неприятно видеть, что все эти люди, создающие действительно классные сайты, которые другие хотят посещать, просто недоступны в стандартной поисковой системе Windows», — заключил он. 

Ранее сообщалось, что аккаунт «сиамских близнецов‑блогеров» всего за два месяца достиг ^[8] отметки в 289 тысяч подписчиков, несмотря на очевидную генеративную природу. За это время публикации в аккаунте набрали миллионы просмотров.

А в декабре исследование Kapwing показало ^[9], что 21-33% контента на YouTube приходится на низкокачественные видеоролики, созданные с помощью ИИ. При этом на такие видео приходится около 33% из первых 500 коротких роликов на YouTube в ленте нового пользователя.