robots.txt не запрещает обучение ИИ: каких роботов закрывать, чтобы сайт остался в ответах нейросетей
Многие владельцы сайтов ставят в robots.txt Disallow для GPTBot и считают, что закрыли свои тексты от ChatGPT.
Почему я не доверил LLM выбор архива: план поиска предков на JSON-справочниках и правилах
Я делаю сервис, который по фамилии, десятилетию рождения и региону отвечает на два вопроса: какие документы той эпохи могли сохраниться и в каком архиве их искать. Очевидное решение 2026 года, один промпт, я отбросил сознательно: модель уверенно называет архивы, которые давно переименованы, и фонды, которых никто не видел. Ниже — как устроено ядро без модели (три слоя JSON-справочников, у каждой записи источник и статус проверки, плюс десяток правил), где модель всё-таки есть и почему там она не может назвать архив, даже если очень захочет.Постановка: что здесь считается ошибкой
Крупные ИИ‑компании договорились о едином запрете обучения ИИ в файле robots.txt
В Google совместно с такими крупными разработчиками ИИ, как OpenAI, Google, Microsoft и Anthropic, объявили о планах по внедрению в файл robots.txt единого механизма управления использованием контента для обучения. Это позволит владельцам веб‑сайтов задавать свои предпочтения в отношении машинного обучения сразу для нескольких разработчиков, выполнив настройку всего один раз.
Microsoft и Google поддержали единый механизм запрета на обучение ИИ контентом сайтов
30 октября Microsoft объявила
Гари Ильес: robots.txt запрещает только краулинг, но не использование контента для обучения ИИ
Последние два года у владельцев сайтов сложилась коллективная привычка: дописать в robots.txt Disallow для GPTBot, CCBot и прочих AI‑краулеров — и считать, что контент от ИИ закрыт. Гари Ильес из Google провёл границу, которая эту привычку обнуляет: robots.txt управляет краулингом, а не использованием контента для обучения (Search Engine Journal, 2026).Два разных процессаИльес разделил две вещи, которые многие паблишеры считали синонимами.Первое — robots.txt. Это протокол доступа для краулеров, и он отвечает на один вопрос: может ли бот зайти на страницу
Маленький файл robots.txt и большие последствия одной строки
Автор: Иван Богданов, Технический писатель Почти за каждым сайтом стоит человек, которому небезразлично, приходят ли туда люди. Для кого-то сайт — это бизнес, источник заказов и клиентов. Для кого-то — увлечение, личный блог или сообщество по интересам. Разница тут велика, и всё же владельцы в обоих случаях заинтересованы в одном и том же. Им нужно, чтобы на сайт заходили, и желательно именно те, кому его содержимое действительно нужно.
Спор про llms.txt не сходится: и критики, и хайп меряют не тот слой
Один лагерь показывает 0,1% обращений в логах и хоронит файл. Другой обещает прирост цитируемости на 30–60%. Обе цифры реальны. Они измеряют разные вещи, и пока спорщики этого не видят, спор идёт по кругу.
«Атака ботов»: как ИИ-краулеры ддосят онлайн-проекты
DDoS-атаки становятся масштабнее и опаснее. О «самом-самом» расскажем 13 февраля, а сегодня поговорим о новом явлении. В последнее время некоторые боты-сборщики данных для обучения LLM, «используют содержимое веб-сайтов, но делают это без уважения».
Поисковые боты OpenAI на время вывели из строя сайт Triplegangers
Сайт компании 3D-моделей Triplegangers в первые выходные января перестал работать из-за распределённой атаки типа «отказ в обслуживании». Её вызвали поисковые боты от OpenAI.
