- BrainTools - https://www.braintools.ru -
Меня зовут Дмитрий, руковожу отделом рекламы и продвижения в Аспро. Мы запускаем интернет-магазины и развиваем систему управления бизнесом Аспро.Cloud [1].
4 июня 2026 года генеральный директор Cloudflare Мэтью Принс сообщил цифру, после которой стоит остановиться: бот- и агентный ИИ-трафик впервые превысил человеческий — 57,5% против 42,5% всех HTTP-запросов в интернете, по данным Cloudflare Radar [2]. Половину запросов к вашему сайту делает не человек.
Для владельца сайта в этой новости — два разных сюжета. Первый: сервер, который не проектировали под такую нагрузку, может начать падать от легального трафика, а не от атаки. Второй: та же самая толпа ботов — это краулеры, от которых зависит, процитирует ли нейросеть ваш сайт в ответе и приведет ли оттуда новых посетителей. В статье разберем обе стороны: что делать с инфраструктурой и как использовать этот трафик, а не просто выдерживать его.
Рост не сводится к обычным поисковым роботам, которые индексировали сайты последние двадцать лет. Новый источник — агентные браузеры и ИИ-агенты: они не просто сканируют страницу, а самостоятельно взаимодействуют с сайтом, переходят по ссылкам, заполняют формы, сравнивают цены.
HUMAN Security [3] 26 марта 2026 года опубликовала отчет по анализу больше квадриллиона взаимодействий за 2025 год. Трафик ИИ-агентов вырос на 7851% год к году — цифра эффектная в первую очередь из-за низкой базы: годом раньше такого трафика почти не существовало. Показательнее другое сравнение из того же отчета: весь автоматизированный трафик за 2025 год прибавил 23,51%, человеческий — только 3,1%. Здесь база уже зрелая с обеих сторон, и разрыв на порядок все равно налицо.
Мы почувствовали то же самое на своем сайте. После точечной оптимизации нескольких страниц трафик в одном из разделов за последний месяц резко вырос — в основном за счет ботов. По данным Яндекс Метрики, роботов пришло в 5 раз больше, чем людей. Но и человеческий трафик не остался на месте: он вырос в 2 раза.
По данным Fastly Threat Insights [4], один ИИ-краулер способен создавать пиковую нагрузку до 39 000 запросов в минуту — это около 650 запросов в секунду. Для сайта на обычном хостинге такой всплеск выглядит не как атака, а как необъяснимый рост нагрузки. Разница в том, что защититься от него сложнее: бот легален, блокировать его по IP бессмысленно, а падение сервера все равно бьет по реальным покупателям.
В России масштаб пока меньше, но тренд тот же. По данным Servicepipe [5] за июнь 2026 года, доля ИИ-трафика на сайтах СМИ выросла с 0,5% до 1%, на ecommerce-площадках — с 0,3% до 1%, а в пиковые периоды достигала 3–3,5% от всего трафика сайта.
Первая реакция [6] большинства — прописать директивы в robots.txt и забыть. Но robots.txt — это просьба, а не барьер. Файл ничего не аутентифицирует и технически ничего не блокирует: он сообщает краулеру, куда заходить нежелательно, а соблюдать это правило или нет — решает сам краулер. Добросовестные поисковые роботы его читают. Агрессивные ИИ-краулеры, которые и создают пиковую нагрузку, — зачастую нет.
Три инструмента дают результат там, где robots.txt бессилен:
Ограничение частоты запросов (rate-limiting) — не блокирует бота полностью, но не дает ему создать пиковую нагрузку в 39 000 запросов в минуту с одного источника.
Списки проверенных краулеров (verified bots) вроде Googlebot и YandexBot с подтвержденной репутацией — открывают доступ по умолчанию, а всех остальных проверяют дополнительно.
Кеширование — самый практичный уровень: если страница отдается из кеша, а не собирается заново на каждый запрос, тысяча обращений к ней не превращаются в тысячу обращений к базе данных.
Кеширование — это архитектурное решение платформы. У решений на Аспро типовые страницы — каталог, карточка товара, статья — по умолчанию отдаются из кеша, без обращения к базе при каждом запросе. Принцип общий для любой платформы: чем раньше кеширование заложено в архитектуру, тем меньше риск словить пиковую нагрузку врасплох.
Краулеры, которые нагружают сервер, — это тот же механизм, через который сайт попадает в ответы ИИ. Нейросеть не рождает ответ из ниоткуда: она обращается к сайтам, читает их через тех же ИИ-агентов и решает, на что сослаться. Чем понятнее сайт для краулера, тем выше шанс, что нейросеть сошлется на него в ответе.
Яндекс Вебмастер [7] дает для этого прямой инструмент — «Видимость сайта в Алисе»: он показывает долю упоминаний сайта среди источников и динамику по времени. Аудитория быстрых ответов Алисы — 46,5 млн пользователей ежемесячно, и это уже не нишевая история, которую можно отложить на потом.
Если цифра в отчете низкая или сайт вообще не упоминается — прежде чем разбирать причины вручную, проверьте сайт по чеклисту типичных ошибок [8], из-за которых сайты не попадают в ответы ИИ. Часто это не редкие технические тонкости, а несколько повторяющихся проблем в разметке и структуре контента.
Один из факторов, который сильнее всего влияет на цитирование, — есть ли у материала реальный, проверяемый автор. Нейросеть, как и человек, смотрит, кто стоит за текстом: должность, экспертизу, историю публикаций. Обезличенный текст без автора она доверием не наделяет. На практике это означает, что страницы авторов и экспертов — не формальность для галочки, а часть контента, которая влияет на цитируемость каждой статьи.
Разница между материалом с указанным автором и без — не абстрактная. По данным Sostav.ru [9], материалы с реальным автором цитируются в ИИ-ответах в 78% случаев против 23% у обезличенных текстов. В одном из разобранных кейсов работа над авторством дала рост трафика из ИИ-ответов на 340% за 4 месяца.
Визит ИИ-агента создает нагрузку на сервер так же, как визит человека, а иногда и больше. Но в рекламной аналитике он, как правило, не считается ни в цене за тысячу показов (CPM), ни в цене за клик (CPC) — рекламные системы измеряют показы и клики людей, а не агентов. Получается разрыв: инфраструктура уже несет расходы на этот трафик, а маркетинговые метрики его пока не видят.
Это не повод игнорировать проблему до тех пор, пока ее не начнут считать официально. Нагрузка на сервер реальна, и цитирование в ответах ИИ уже приносит трафик — независимо от того, попадает он в привычные отчеты или нет.
Бот-трафик больше не исключение, которое можно списать на статистическую погрешность, — он стал занимать больше половины всего трафика в интернете. Сервер должен выдержать нагрузку, которую создают ИИ-агенты, а контент — быть тем, что эти агенты готовы процитировать. Это две стороны одной задачи, и решать их по отдельности — значит закрывать только половину проблемы.
А вы уже смотрели, сколько в логах вашего сайта ботов против живых посетителей — или пока не доходили руки?
Автор: dmitriy_seo
Источник [10]
Сайт-источник BrainTools: https://www.braintools.ru
Путь до страницы источника: https://www.braintools.ru/article/34711
URLs in this post:
[1] Аспро.Cloud: http://%D0%90%D1%81%D0%BF%D1%80%D0%BE.Cloud
[2] Cloudflare Radar: https://www.forbes.com/sites/josipamajic/2026/06/04/bots-now-outnumber-humans-online-and-the-internet-was-never-built-for-this/
[3] HUMAN Security: https://www.globenewswire.com/news-release/2026/03/26/3263087/0/en/human-security-s-2026-state-of-ai-traffic-cyberthreat-benchmark-report-signals-a-new-internet-era-automation-growth-now-outpaces-humans.html
[4] Fastly Threat Insights: https://cisoclub.ru/ii-boty-sozdajut-novuju-ugrozu-dlja-sajtov-huzhe-chem-ddos/
[5] Servicepipe: https://habr.com/ru/news/1061368/
[6] реакция: http://www.braintools.ru/article/1549
[7] Яндекс Вебмастер: https://webmaster.yandex.ru/blog/efficiency-alice
[8] проверьте сайт по чеклисту типичных ошибок: https://aspro.ru/materials/checklist-oshibok-ai/?utm_source=habr&utm_medium=article&utm_campaign=ai-traffic-geo&utm_content=paid-article
[9] Sostav.ru: http://Sostav.ru
[10] Источник: https://habr.com/ru/companies/aspro/articles/1072944/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1072944
Нажмите здесь для печати.