robots.txt не запрещает обучение ИИ: каких роботов закрывать, чтобы сайт остался в ответах нейросетей

Многие владельцы сайтов ставят в robots.txt Disallow для GPTBot и считают, что закрыли свои тексты от ChatGPT. Гари Ильес из Google напомнил: файл решает только, может ли краулер (робот, который обходит сайт) скачать страницу, а что потом делают с контентом, он не решает. Значит, robots.txt для нейросетей работает как просьба к конкретному роботу, а не как запрет на обучение. Строка про GPTBot не убирает сайт из ответов ChatGPT и ничего не говорит о страницах, которые уже скачаны. Поэтому сначала стоит решить, от чего закрываться, от обучения ИИ-моделей или от появления в их ответах, и закрывать это отдельными правилами для отдельных роботов.

Disallow для GPTBot в robots.txt действует только на следующие обходы сайта

Disallow просит робота не запрашивать страницы, и больше ничего. В видео Search Central 21 октября 2026 года Ильес сослался на стандарт RFC 9309: robots.txt задаёт предпочтения по доступу и не определяет, что система делает с данными после обхода. Файл работает как табличка с просьбой не входить: воспитанный робот за дверь не зайдёт, но что делать с уже увиденным, табличка не говорит.

Поэтому новая строка касается только будущих обходов. Судьбу страниц, скачанных до неё, robots.txt не решает. Стандартного способа запретить обучение, но разрешить обход пока нет: он существует только в черновике.

Строки, которая закрыла бы весь ИИ разом, в стандарте тоже нет. Google поддерживает в файле только User-Agent, Allow, Disallow и Sitemap и пропускает остальное, так что выдуманная директива вроде No-AI-Chicken-Training ничего не даст. Конкретный ИИ-краулер закрывается, только если явно назвать его токен, то есть имя в строке User-agent. Об этом Ильес тоже сказал в видео (расшифровка на Search Engine Roundtable).

У ChatGPT, Claude и Gemini обучение и ответы обслуживают разные роботы

У OpenAI и Anthropic по три робота. Первый собирает тексты для обучения, второй ищет страницы для поиска сервиса, третий заходит на страницу, когда об этом попросил пользователь.

OpenAI пишет, что эти настройки независимы. Можно разрешить OAI-SearchBot и остаться в поиске ChatGPT, но запретить GPTBot, чтобы тексты не шли в обучение. ChatGPT-User приходит по действию пользователя, и правила robots.txt к нему, по словам OpenAI, могут не применяться. Из поиска ChatGPT сайт убирают через OAI-SearchBot. Anthropic предупреждает: если отключить Claude-User, Claude не сможет взять вашу страницу в ответ на запрос пользователя, и видимость сайта может снизиться.

Google отделил обучение от Поиска токеном Google-Extended. Своего робота у токена нет. Он решает, пойдут ли страницы, которые обошёл Google, в обучение будущих моделей Gemini и в grounding, то есть в подачу страницы ИИ-модели во время ответа. На включение в Поиск Google-Extended не влияет (документация Google). Похоже устроен Applebot-Extended: страниц он не обходит и только решает, можно ли учить ИИ-модели на данных Applebot. Сайт с его запретом остаётся в поиске (Apple Support). Common Crawl, открытый архив скачанных страниц, обходит сайты ботом CCBot и перестаёт, если закрыть этот токен (FAQ Common Crawl).

В России выбор беднее. Чтобы страницы не попадали в быстрые ответы Алисы AI в поиске, Яндекс Вебмастер советует запретить YandexAdditional или YandexAdditionalBot. Изменение учитывается за 2–14 дней. Отдельного токена только для обучения у Яндекса, по справочнику seodb, нет: ИИ-ответы берут страницы из основного индекса, поэтому закрытый YandexBot убирает сайт и из поиска, и из них. Сбер, по наблюдению Флоустата на октябрь 2026 года, не публикует ни имени поискового робота GigaChat, ни правил для robots.txt. Назвать этого робота в файле пока нельзя.

Какие строки robots.txt закрывают обучение ИИ, а какие убирают сайт из ответов

Закрыть сайт от ИИ целиком через robots.txt нельзя. Если пытаться, вы скорее всего потеряете место в ответах нейросетей, а уже скачанный контент так и останется в обучающих данных, то есть в наборе текстов, на которых учат ИИ-модель. Обучение и ответы надо разделять: роботов для обучения можно закрывать, если это важно бизнесу, а поисковые роботы ИИ-сервисов и роботов, которые приходят по запросу пользователя, стоит оставлять открытыми.

Не попадать в обучение и остаться в ответах:

“` User-agent: GPTBot User-agent: ClaudeBot User-agent: CCBot User-agent: Applebot-Extended Disallow: /

User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: Claude-SearchBot User-agent: Claude-User Allow: / “`

Первая группа просит не скачивать страницы для обучения роботов OpenAI, Anthropic, Common Crawl и Apple. Вторая нужна для наглядности: без запрета эти роботы и так допущены. Поиск Google такой файл не трогает и из поиска ChatGPT и Claude сайт не убирает. Страниц, которые эти роботы забрали раньше, он не касается, и роботов, которые robots.txt не читают, не остановит.

Google-Extended в этот список я не включил. Он закрывает не только обучение Gemini, но и grounding, поэтому запрет может стоить сайту места в ответах Gemini. Ставить его стоит, только если запрет обучения для бизнеса важнее этих ответов.

Не появляться в ответах:

“ User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: Claude-SearchBot User-agent: Claude-User User-agent: YandexAdditional User-agent: YandexAdditionalBot Disallow: / “

Цена такого файла в том, что сайт перестанет появляться в ответах этих сервисов. С ChatGPT-User результат не гарантирован: OpenAI оговаривает, что правила к нему могут не применяться.

Какие ИИ-боты обходят robots.txt и как проверить это по логам сервера

Слушаются файл не все. В августе 2025 года Cloudflare показал, что Perplexity при блокировке меняет user agent и ASN (номер сети, из которой идёт трафик) и порой даже не запрашивает robots.txt. Тест шёл на новых доменах с полным запретом в robots.txt и правилами против PerplexityBot и Perplexity-User. Perplexity всё равно получал контент, представляясь браузером Chrome на macOS. По подсчёту Cloudflare, такой скрытый обход шёл на десятках тысяч доменов, миллионы запросов в день. Perplexity исключили из списка проверенных ботов Cloudflare. Забавно, что самым послушным в том же тесте оказался ChatGPT-User: он запросил robots.txt и прекратил обход, хотя OpenAI сама предупреждает, что правила к нему могут не применяться.

Проверить своих роботов можно по access-логу. Отберите строки с токенами и посмотрите, какие страницы они запрашивали после появления Disallow:

“ grep -E "GPTBot|ClaudeBot|CCBot|OAI-SearchBot|ChatGPT-User" access.log “

Каждая строка содержит время запроса, путь, код ответа сервера и user-agent. Успешный ответ на запрос закрытого раздела после появления Disallow значит, что робот скачал страницу, а отказ или ошибка — что содержимого он не получил. Смотрите, запросил ли робот /robots.txt и продолжил ли ходить в закрытые разделы. Подделку по токену не найти, поэтому ищите запросы с user-agent обычного браузера, которые в том же ритме идут на те же страницы. Как выглядят в логах GPTBot, ClaudeBot и остальные, разобрано в статье о том, какие ИИ-боты реально ходят по сайту и что они запрашивают.

Что, кроме robots.txt, закрывает контент от нейросетей: блокировка на сервере, метатеги и TDMRep

Против робота, который назвался браузером, не помогают ни robots.txt, ни блок по user-agent. Нужно поручить разработчику проверить защиту от автоматических запросов на сервере или в сервисе доставки сайта (CDN, например Cloudflare): она отличает робота от покупателя с обычным браузером по признакам трафика, таким как сеть, из которой идёт запрос, и ритм обращений. В тесте Cloudflare она сработала: когда закрыли и скрытый краулер, ответы Perplexity стали менее конкретными, без деталей исходной страницы. Блокировка по IP вместо файла с Anthropic может подвести: она мешает роботу прочитать robots.txt, и отказ может не сработать.

• Метатег nosnippet. Apple предлагает его, чтобы конкретный контент не попадал в ответы Siri и поиска Apple на общие вопросы.

• TDMRep. Протокол группы сообщества W3C (стандартом W3C он не является) выражает оговорку прав на TDM, автоматический анализ текстов и данных: отказ задаётся параметром tdm-reservation со значением 1 (описание протокола). Юридический вес у него в ЕС: статья 4 директивы 2019/790 разрешает TDM в коммерческих целях, пока правообладатель не зарезервировал права, в том числе машиночитаемым способом. Вне ЕС это исключение не действует.

• Плата за обход. С июля 2025 года у Cloudflare в закрытой бете есть Pay Per Crawl: сайт может брать плату с ИИ-краулеров за каждый доступ к контенту.

Общий запрет обучения ИИ в robots.txt Anthropic уже учитывает, а Google обещает с 2027 года

С 30 октября 2026 года Anthropic распознаёт машиночитаемый сигнал запрета обучения. Общий запрет выглядит так:

“ User-agent: __usage_ai-training Disallow: / “

Google планирует поддержать тот же сигнал AIPREF в начале 2027 года. По прочтению Lab Leaders, Google может считать такой запрет запретом Google-Extended, и тогда общая строка тоже может стоить сайту ответов Gemini. Стандарт готовит IETF: черновик, соавтор которого Ильес, добавит в robots.txt правило Content-Usage и одноимённый HTTP-заголовок, но о словаре там ещё не договорились. Пока стандарт не принят, обучение и ответы приходится закрывать по отдельности и называть каждого робота по имени.