Гари Ильес: robots.txt запрещает только краулинг, но не использование контента для обучения ИИ
Последние два года у владельцев сайтов сложилась коллективная привычка: дописать в robots.txt Disallow для GPTBot, CCBot и прочих AI‑краулеров — и считать, что контент от ИИ закрыт. Гари Ильес из Google провёл границу, которая эту привычку обнуляет: robots.txt управляет краулингом, а не использованием контента для обучения (Search Engine Journal, 2026).Два разных процессаИльес разделил две вещи, которые многие паблишеры считали синонимами.Первое — robots.txt. Это протокол доступа для краулеров, и он отвечает на один вопрос: может ли бот зайти на страницу
Свой сайт или внешние площадки: стратегия продвижения статьями, которая принесет лиды сегодня, а не через год
Есть два пути. Первый: пишете только на свой сайт, ждете полгода и молитесь на апдейты. Второй: уходите на UGC‑площадки, наслаждаетесь быстрым трафиком, а потом просыпаетесь и видите, что статьи закрыты от индексации. Так какой же из них выбрать..?
