Гари Ильес: robots.txt запрещает только краулинг, но не использование контента для обучения ИИ
Последние два года у владельцев сайтов сложилась коллективная привычка: дописать в robots.txt Disallow для GPTBot, CCBot и прочих AI‑краулеров — и считать, что контент от ИИ закрыт. Гари Ильес из Google провёл границу, которая эту привычку обнуляет: robots.txt управляет краулингом, а не использованием контента для обучения (Search Engine Journal, 2026).Два разных процессаИльес разделил две вещи, которые многие паблишеры считали синонимами.Первое — robots.txt. Это протокол доступа для краулеров, и он отвечает на один вопрос: может ли бот зайти на страницу
