Ботовый трафик против человеческого — кто победит в этой схватке?

Идея так называемого «мертвого интернета» витает в воздухе довольно давно (если мне не изменяет память, уже в 2014 году были робкие высказывания в поддержку этой теории), но с каждым годом голоса тех, кто считает ее реальной, становятся громче. И действительно, развитие ИИ, автоматизации, парсинга ресурсов способствует наводнению интернета ботами. Но так ли все критично, как кажется на первый взгляд?

Мы решили изучить, что происходит в современном интернете с точки зрения человеческого и ботового трафика и разобраться, так ли близок «мертвый интернет» или это все еще напоминает теорию заговора.

Привет! Я Александр, пишу для антидетект-браузера Aurorium и по совместительству являюсь специалистом в вопросах автоматизации и парсинга. В этом материале мы рассмотрим, как менялся интернет-трафик на отрезке с 2013 год по настоящее время? По традиции сварите чашечку кофе или чая и соорудите пару бутербродов — мы начинаем!

Состав интернет трафика

Прежде чем погружаться в статистику, давайте разберемся, а из чего вообще состоит современный интернет с точки зрения трафика.

В первую очередь — это люди, которые составляют основу, именно они двигают интернет вперед, вбивают поисковые запросы, создают пользовательский контент, делятся им с окружающими.

Во вторую очередь — это боты, которые подразделяются на плохих и хороших.

Хорошие боты:

• Краулеры поисковых систем, обеспечивающие ранжирование и индексацию контента.

• Системы мониторинга производительности, аптайма и доступности ресурсов.

• Агрегаторы новостей, RSS-ридеры.

• Боты социальных сетей.

Плохие боты:

• Простые боты (скрипты, использующие базовые библиотеки без сложных механизмов маскировки).

• Умеренно-продвинутые боты (скрипты, которые используют headless-браузеры, способные исполнять JavaScript, имитировать базовое движение мыши, обрабатывать cookies и управлять сессиями).

• Продвинутые боты (умеют динамически менять свои цифровые отпечатки, распределяют запросы через прокси и активно применяют алгоритмы машинного обучения для эмуляции нелинейного человеческого поведения).

Серые боты:

• Боты нейросетей, обеспечивающие наполнение контентом.

• ИИ-агенты.

Ремарка — серых ботов мы будем учитывать в общей статистике с плохими, так как еще не до конца понятно, несут ли они пользу для современного веба и веб-мастеров, в частности, или нет.

Будем считать, что с азами мы разобрались: предлагаю не томить и погрузиться в статистику.

Как менялся трафик за последние 13 лет

Для начала давайте проследим эволюцию поискового трафика за последние 13 лет, начиная с 2013 года по настоящее время.

Мы решили немного поэкспериментировать с интерактивом и собрали небольшой радар, покрутив который можно отследить динамику смены цифровой парадигмы от доминирования человека к ботам, тестируйте радар бототрафиков Aurorium.

В сети есть много различных графиков и исследований на эту тему. Возьмем для примера исследование компании Imperva (специализируется на кибербезопасности и защите данных). Вот как выглядело распределение трафика с 2013 по 2024 год по результатам их исследований: 

А теперь давайте пройдемся по этапам более подробно и посмотрим, какие события предшествовали тому или иному взлету и падению и как на них повлияли.

Эра относительного спокойствия (середина 2010-х)

Начнем препарировать полученные в ходе исследования данные с 2010-х годов: самый расцвет современного веба, эпоха бурного роста поисковых тенденций.

Из графика четко виден рост человеческого трафика, которому предшествовал провал в 2014 году в пользу хороших ботов. 

Кажется, все максимально закономерно: интернет развивается, появляется все больше информации, которую нужно классифицировать и распределять, а кто займется распределением? Хорошие боты, которые начали более агрессивно пылесосить веб и работать на благо человечества (или на благо своих создателей, тут уже кому что больше нравится).

Поисковые роботы, агрегаторы новостей, боты соцсетей и другие, менее известные, но важные для интернета скрипты шныряли по вебу в поисках информации, индексировали все, что, по их мнению было полезно и удаляли вредоносные и бесполезные данные (опять же, по их мнению).

Спорить о качестве их работы не будем, пусть это останется сеошникам, мы же просто зафиксируем факт — всплеск ботового трафика в 2014 году был абсолютно закономерен и ожидаем.

После того, как боты хорошо поработали, люди начали постепенно возвращать себе доминирующую позицию и продолжали ее удерживать. А с чем связан рост человеческого трафика? У кого-нибудь есть предположения? Пишите в комментариях, что думаете на этот счет.

На самом деле всплеск человеческого трафика легко объясняется массовой глобальной смартфонизацией и развертыванием мобильных сетей нового поколения (4G/LTE) и притоком на этом фоне сотен миллионов новых интернет-пользователей из развивающихся стран — в первую очередь из Китая, Индии и Индонезии. 

Да, именно тогда и начал расти трафик из Азии и бустить человеческое доминирование в интернете.

Рост мобильного интернета временно затмил собой автоматизацию, создав иллюзию человеческого большинства в сети. 

Что касается вредных (плохих) ботов, их доля была настолько низкой, что ее можно учитывать в качестве погрешности. Почему так? Вот смотрите — чтобы написать скрипт автоматизации или даже простой парсер в 2010-х годах, требовались знания языков программирования, а они были недоступны большинству пользователей интернета. 

Разработчики, умеющие писать код, уже тогда стали своего рода особой кастой среди интернет-пользователей. Вот мы и получаем низкие показатели плохих ботов. Кто умел, тот и писал, а умели немногие.

Переломный момент и пандемийный скачок (2019–2020)

Первый значимый перелом произошел в 2019, пандемийном, году, который спровоцировал бум автоматизации на фоне вынужденной удаленки большинства компаний. Хотя на графике и не видно никакого бума (он случился чуть позже, когда бизнес полностью перестроился), но именно в это время и была заложена основа для скачка автоматизации и роста плохих ботов.

Владельцы бизнеса осознали, что как раньше уже не будет, и начали массово переходить в онлайн, а те, кто поумнее, — еще и обрастать инструментами для парсинга конкурентов, аналитики и т. п. 

С 2020 по 2023 год мы получили снижение человеческого трафика и последовательный рост плохих ботов, при условии, что доля хороших ботов оставалась на стабильном уровне.

Эпоха генеративного ИИ (2023–2026)

И наконец, наше ближайшее прошлое и настоящее, которое резко отличается от того, что было в 2022 и значительно раньше — в повседневную жизнь пользователей интернета внезапно ворвались и остались там надолго нейросети. Кажется, что поиск уже никогда не будет прежним, но давайте отстранимся от нытья и посмотрим, как изменился интернет в эти годы.

Произошло «умнение» юзеров за счет ИИ. Появилось огромное количество «вайбкодеров», способных за пару часов создать скрипт или парсер и пустить его в действие. То, что ранее было доступно лишь отдельной категории пользователей, сегодня попало в общий доступ. Собственно, отсюда и рост «плохих» ботов с 27% до 40%. Любой школьник без знаний, но с «крутой» идеей может создать свой продукт (да, к качеству будут вопросы, но кто из школьников смотрит на качество, работает же).

Впервые за более чем 10 лет автоматизированный трафик перешагнул отметку в 50% и в ряде сегментов окончательно обогнал человеческий. Это случилось в 2024 году, когда на долю людей приходилось 49% трафика, а роботы заняли 51%.

Но тенденция не остановилась, а даже ускорилась (способствует этому конечно же развитие нейросетей). По последним подсчетам люди еще больше отошли назад и уже занимают всего лишь 47% от общего интернет-трафика, в то время как боты укрепились на 53%.

Ну и самое неприятное во всей этой истории заключается в том, что большую часть ботового трафика держат «плохие» боты. Мы имеем не улучшение контента за счет более качественной индексации (как хотелось бы), а эта автоматизация драйвится за счет агрессивного извлечения данных.

Если недостаточно приведенной статистики, можно добавить пару дополнительных источников, которые не только не опровергают вышесказанное, но и дополняют его.

Cloudflare, например, отмечает, что автоматизированный трафик составляет 37,5% от всех HTTP-запросов, и 87% этого трафика — десктопный (что вполне закономерно, так как большинство ботов пишутся и запускаются под десктоп). 

Аkamai изучила 6,9 миллиарда запросов и выявила, что 49,3% исходили от людей, 42,1% — от ботов (при этом 65,3% бототрафика классифицировалось как вредоносный парсинг), а оставшиеся 8,7% были смешанными или неклассифицированными.

Статистика удручает.

ИИ-агенты растут

Но не будем заранее посыпать голову пеплом и говорить о том, что все пропало. Все перестраивается. Когда-то и появление паровых машин воспринималось негативно, но наши предки смогли это принять, перестроиться и жить дальше. 

В составе так называемых «плохих» ботов есть отдельная категория — «серые» боты. Они не совсем плохие, но еще и не заслужили репутацию хороших, потому и держатся в серой зоне. Это ИИ агенты и ИИ парсеры (краулеры). Первые создаются людьми и для людей, а вторые — компаниями в интересах компаний.

ИИ краулеры пылесосят интернет в поисках информации — это все те боты, которые связаны с ИИ-поиском, расширенными ИИ ответами от Гугла и т. п. Общая доля от всего нейротрафика — 85%.

ИИ-агенты пока составляют всего 15% от всего ИИ-трафика, но и пользоваться ими умеет лишь небольшая часть юзеров.

С ИИ-агентами вообще ситуация похожая на ту, которая была на заре интернета (выше писал про разработчиков и их особый статус в 2010-х). Тех, кто умеет настраивать и использовать агентов, не так много — все-таки здесь нужно иметь чуть больше навыков, чем просто вбить промпт в окно чата. Вот и имеем всего 15%. Единственное отличие ситуации 2010-х от нынешней заключается в том, что доля ИИ-агентов растет намного быстрее, время сжимается, за год прирост составил 7%.

ИИ-агенты сравнивают цены, изучают документацию, а некоторые уже бронируют билеты или номера в отеле без полноценного участия человека. Это своего рода личные помощники, но на микроуровне, доступные фактически любому пользователю, а не только руководителю корпорации или владельцу бизнеса.

В чем риски для бизнеса?

На первый взгляд, бизнес от роста автоматизации только в плюсе. Сокращаются издержки на определенную деятельность, кто-то даже сокращает штат специалистов и экономит на этом деньги. Но есть и обратная сторона, о которой много кто забывает — инфраструктурный налог.

Что это такое? Это необходимость содержать серверные мощности, которые обрабатывают проходящий через ресурсы бизнеса ботовый трафик. Давайте чуть проще, на примере обычного сайта:

У компании «Рога и Копыта» есть интернет-магазин, на который ежедневно заходило 200 человек. Со временем трафик рос, и за пять лет достиг отметки в 5000 посетителей в сутки. Нагрузка на сервер растет? Растет. Владелец хостинга, на котором сайт физически находится, просит купить более дорогой тариф, и директор компании делает это, так как в противном случае он рискует потерять клиентов с сайта.

Но часть трафика, из-за которого директору пришлось перейти на более дорогой тариф, никогда и ничего у него не купит — это те самые боты. Вот и получается, что компании платят невидимый налог на ботов.

А если перевести эти цифры на крупный цифровой продукт с трафиком 100 млн просмотров в месяц, из которых 30% это боты, затраты на инфраструктурный налог будут выше 19000$ в год, и это только на оплату серверных мощностей, не говоря о других сопутствующих тратах (например, на платную CAPTCHA, через которую эти боты прошли).

И возникает дилемма (с которой уже сталкивались владельцы ресурсов, когда автоматизаторы начали массово применять мобильные прокси для обхода ограничений на массовый парсинг) — блокировать ИИ-трафик или нет?

Мобильные прокси для парсинга — несмотря на конечность IP-адресов в пулах мобильных операторов, владельцы интернет-сайтов не могут поголовно их блокировать, даже если явно видно, что с конкретного IP-адреса идет автоматизированный трафик, так как заблокировав один IP-адрес, они рискуют заблокировать и обычных пользователей, сидящих на этом IP-адресе. Технология CGNAT во всей своей красе.

ИИ-агенты хоть и находятся в серой зоне, но в таких нишах, как туризм, они уже умеют бронировать отели и покупать авиабилеты, а если их заблокировать, сайт потеряет клиентов.

С другой стороны, ИИ-краулеры, которые пылесосят информацию и наполняют ею ИИ-поиск, обещают владельцам переходы пользователей к ним на сайт (на этом строится современное SEO, которое называют GEO). Но насколько лукавят владельцы нейросетей в попытке убедить вебмастеров открыть свои ресурсы для ИИ-ботов? Правда ли они готовы делиться в будущем клиентами с другими площадками, если можно закрыть их в нейроэкосистеме и получить все сливки?

Информация на подумать — крупные медиа, вроде BBC и CNN, жесточайше блокируют всех этих ИИ-ботов и не отдают им ни пяди информации без боя, и все равно у них больше всех цитирований в нейросетях…

«Мертвый интернет»: Конспирология или объективная реальность?

А теперь вернемся к тому, с чего мы и начали — так ли реален «мертвый интернет»? Вынуждены признать, что все больше подтверждений тому, что теория, ранее звучавшая как маргинальная, подтверждается на практике, и приведенная статистика выше — яркое тому подтверждение.

Человек становится меньшинством в инфраструктуре, которую сам и создал.

И на первый взгляд, это не выглядит как нечто пугающее. Да, будут ИИ-агенты, которые будут помогать человеку изучать информацию, планировать путешествия, покупать билеты и т. п. 

Но давайте копнем глубже и обратимся к ИИ-рекомендациям и нейропоиску, который формируется, исходя из того, что ИИ-краулеры напарсили и обобщили. Чем больше в поиске нейроконтента (посты в соцсетях, сгенерированные статьи и т. п.) тем больше меняется информационное поле. 

Добавьте сюда и рекомендательные системы, которые начинают подстраиваться под паттерны ботов, а не под человека, — и есть риск получить в будущем совсем уж синтетический интернет.

Через нескольких лет подобной «эволюции» мы можем вообще не узнать современный на тот период интернет. И решения, что с этим делать, к сожалению, нет.

Кто победит?

Решения нет, но есть развилка из нескольких путей, куда мы можем свернуть в попытке предотвратить наступление полноценного «мертвого интернета».

Давайте немного порассуждаем, каким путем может пойти современное интернет-общество.

Сценарий № 1: Цифровой изоляционизм

Самый маргинальный, на мой взгляд, путь — миграция людей в закрытые сообщества, платные подписки, мессенджеры с жесткой верификацией и биометрией, куда ботам просто не попасть.

Этот путь напоминает мне цифровое сопротивление, в котором боты победили и выступают этакими жандармами, а люди укрылись за подписками и закрылись от ботов в своем мире. А кто не смог попасть в эти комьюнити (или не захотел), будет вынуждены мириться с новым интернетом.

Сценарий № 2: Вечная гонка вооружений 

Антифрод-системы на основе ИИ борются с ботами на базе ИИ (звучит как сценарий какого-то фильма, но не получается вспомнить, какого именно). Мы уже сейчас видим начало этого этапа, когда технологии цифровых отпечатков и поведенческого анализа стали де-факто стандартом безопасности.

В этом сценарии интернет трансформируется в такую крепость с постоянными проверками на «человечность». Привычная нам CAPTCHA меняется — мы больше не будем искать светофоры. Системы будут невидимо анализировать микродвижения мыши, скорость набора текста и историю браузера. Появятся концепции доказательство личности (вход на сайты через криптографические токены, подтверждающие биометрию, или через привязку к цифровым паспортам). 

Для бизнеса это обернется ростом расходов на кибербезопасность, а для обычного пользователя — замедлением работы сети и концом его привычной анонимности.

Сценарий № 3: Легализация ИИ-трафика. 

Признание ботов и ИИ-агентов полноправными «гражданами» сети. Принцип «не можешь предотвратить — возглавь», показал себя неплохо во многих сферах. Только тут нужно будет сделать поправку, не просто возглавь, но и монетизируй.

В этом сценарии для ИИ-агентов создается отдельная инфраструктура. Появятся новые протоколы взаимодействия — свой robots.txt 2.0 (или ai.txt), где владельцы сайтов будут четко прописывать условия: что можно парсить, а что нет. Такие документы уже есть, многие компании внедряют на сайт специальную разметку для LLM и т. п. Но в таком сценарии требуется игра по правилам и со стороны нейросетей, а гарантировать этого нельзя.

Контент может стать платным для алгоритмов. Хочешь, чтобы твой ИИ-агент нашел дешевые билеты на моем сайте или обучил на моей статье свою языковую модель? Плати микротранзакцию за каждый API-запрос. Интернет разделится на два слоя: визуальный (красивый UI для людей) и машинный (структурированные данные для ИИ).

Но всегда были и будут люди, которые не захотят платить, ведь эра парсеров примерно так и начиналась — зачем платить за данные, если их можно забрать бесплатно.

Заключение

В прямом противостоянии между человеком и ботом победителей не будет. «Мертвый интернет» — это не апокалипсис, где машины уничтожили людей. Это среда, в которой человек перестает быть главным созидателем и потребителем трафика, уступая место алгоритмам.

И главная задача сейчас — не пытаться остановить прогресс (это невозможно), нужно учиться жить в новой реальности. 

Иначе можно превратиться в Дон Кихота, сражающегося с ветряными мельницами.