Меня зовут Дмитрий, руковожу отделом рекламы и продвижения в Аспро. Мы запускаем интернет-магазины и развиваем систему управления бизнесом Аспро.Cloud.
4 июня 2026 года генеральный директор Cloudflare Мэтью Принс сообщил цифру, после которой стоит остановиться: бот- и агентный ИИ-трафик впервые превысил человеческий — 57,5% против 42,5% всех HTTP-запросов в интернете, по данным Cloudflare Radar. Половину запросов к вашему сайту делает не человек.
Для владельца сайта в этой новости — два разных сюжета. Первый: сервер, который не проектировали под такую нагрузку, может начать падать от легального трафика, а не от атаки. Второй: та же самая толпа ботов — это краулеры, от которых зависит, процитирует ли нейросеть ваш сайт в ответе и приведет ли оттуда новых посетителей. В статье разберем обе стороны: что делать с инфраструктурой и как использовать этот трафик, а не просто выдерживать его.
Откуда взялся такой рост ИИ-трафика
Рост не сводится к обычным поисковым роботам, которые индексировали сайты последние двадцать лет. Новый источник — агентные браузеры и ИИ-агенты: они не просто сканируют страницу, а самостоятельно взаимодействуют с сайтом, переходят по ссылкам, заполняют формы, сравнивают цены.
HUMAN Security 26 марта 2026 года опубликовала отчет по анализу больше квадриллиона взаимодействий за 2025 год. Трафик ИИ-агентов вырос на 7851% год к году — цифра эффектная в первую очередь из-за низкой базы: годом раньше такого трафика почти не существовало. Показательнее другое сравнение из того же отчета: весь автоматизированный трафик за 2025 год прибавил 23,51%, человеческий — только 3,1%. Здесь база уже зрелая с обеих сторон, и разрыв на порядок все равно налицо.
Мы почувствовали то же самое на своем сайте. После точечной оптимизации нескольких страниц трафик в одном из разделов за последний месяц резко вырос — в основном за счет ботов. По данным Яндекс Метрики, роботов пришло в 5 раз больше, чем людей. Но и человеческий трафик не остался на месте: он вырос в 2 раза.
Что рост ИИ-трафика значит для инфраструктуры сайта
Пиковые нагрузки
По данным Fastly Threat Insights, один ИИ-краулер способен создавать пиковую нагрузку до 39 000 запросов в минуту — это около 650 запросов в секунду. Для сайта на обычном хостинге такой всплеск выглядит не как атака, а как необъяснимый рост нагрузки. Разница в том, что защититься от него сложнее: бот легален, блокировать его по IP бессмысленно, а падение сервера все равно бьет по реальным покупателям.
Российская специфика
В России масштаб пока меньше, но тренд тот же. По данным Servicepipe за июнь 2026 года, доля ИИ-трафика на сайтах СМИ выросла с 0,5% до 1%, на ecommerce-площадках — с 0,3% до 1%, а в пиковые периоды достигала 3–3,5% от всего трафика сайта.
Почему robots.txt не решает проблему
Первая реакция большинства — прописать директивы в robots.txt и забыть. Но robots.txt — это просьба, а не барьер. Файл ничего не аутентифицирует и технически ничего не блокирует: он сообщает краулеру, куда заходить нежелательно, а соблюдать это правило или нет — решает сам краулер. Добросовестные поисковые роботы его читают. Агрессивные ИИ-краулеры, которые и создают пиковую нагрузку, — зачастую нет.
Что реально работает на инфраструктурном уровне
Три инструмента дают результат там, где robots.txt бессилен:
-
Ограничение частоты запросов (rate-limiting) — не блокирует бота полностью, но не дает ему создать пиковую нагрузку в 39 000 запросов в минуту с одного источника.
-
Списки проверенных краулеров (verified bots) вроде Googlebot и YandexBot с подтвержденной репутацией — открывают доступ по умолчанию, а всех остальных проверяют дополнительно.
-
Кеширование — самый практичный уровень: если страница отдается из кеша, а не собирается заново на каждый запрос, тысяча обращений к ней не превращаются в тысячу обращений к базе данных.
Кеширование — это архитектурное решение платформы. У решений на Аспро типовые страницы — каталог, карточка товара, статья — по умолчанию отдаются из кеша, без обращения к базе при каждом запросе. Принцип общий для любой платформы: чем раньше кеширование заложено в архитектуру, тем меньше риск словить пиковую нагрузку врасплох.
Тот же трафик — это и есть видимость в ИИ-ответах
Краулеры, которые нагружают сервер, — это тот же механизм, через который сайт попадает в ответы ИИ. Нейросеть не рождает ответ из ниоткуда: она обращается к сайтам, читает их через тех же ИИ-агентов и решает, на что сослаться. Чем понятнее сайт для краулера, тем выше шанс, что нейросеть сошлется на него в ответе.
Как проверить, цитирует ли ИИ ваш сайт
Яндекс Вебмастер дает для этого прямой инструмент — «Видимость сайта в Алисе»: он показывает долю упоминаний сайта среди источников и динамику по времени. Аудитория быстрых ответов Алисы — 46,5 млн пользователей ежемесячно, и это уже не нишевая история, которую можно отложить на потом.
Если цифра в отчете низкая или сайт вообще не упоминается — прежде чем разбирать причины вручную, проверьте сайт по чеклисту типичных ошибок, из-за которых сайты не попадают в ответы ИИ. Часто это не редкие технические тонкости, а несколько повторяющихся проблем в разметке и структуре контента.
При чем здесь авторство
Один из факторов, который сильнее всего влияет на цитирование, — есть ли у материала реальный, проверяемый автор. Нейросеть, как и человек, смотрит, кто стоит за текстом: должность, экспертизу, историю публикаций. Обезличенный текст без автора она доверием не наделяет. На практике это означает, что страницы авторов и экспертов — не формальность для галочки, а часть контента, которая влияет на цитируемость каждой статьи.
Разница в цифрах
Разница между материалом с указанным автором и без — не абстрактная. По данным Sostav.ru, материалы с реальным автором цитируются в ИИ-ответах в 78% случаев против 23% у обезличенных текстов. В одном из разобранных кейсов работа над авторством дала рост трафика из ИИ-ответов на 340% за 4 месяца.
Экономическая сторона
Визит ИИ-агента создает нагрузку на сервер так же, как визит человека, а иногда и больше. Но в рекламной аналитике он, как правило, не считается ни в цене за тысячу показов (CPM), ни в цене за клик (CPC) — рекламные системы измеряют показы и клики людей, а не агентов. Получается разрыв: инфраструктура уже несет расходы на этот трафик, а маркетинговые метрики его пока не видят.
Это не повод игнорировать проблему до тех пор, пока ее не начнут считать официально. Нагрузка на сервер реальна, и цитирование в ответах ИИ уже приносит трафик — независимо от того, попадает он в привычные отчеты или нет.
Итог
Бот-трафик больше не исключение, которое можно списать на статистическую погрешность, — он стал занимать больше половины всего трафика в интернете. Сервер должен выдержать нагрузку, которую создают ИИ-агенты, а контент — быть тем, что эти агенты готовы процитировать. Это две стороны одной задачи, и решать их по отдельности — значит закрывать только половину проблемы.
А вы уже смотрели, сколько в логах вашего сайта ботов против живых посетителей — или пока не доходили руки?
Автор: dmitriy_seo
