Маленький файл robots.txt и большие последствия одной строки
Автор: Иван Богданов, Технический писатель Почти за каждым сайтом стоит человек, которому небезразлично, приходят ли туда люди. Для кого-то сайт — это бизнес, источник заказов и клиентов. Для кого-то — увлечение, личный блог или сообщество по интересам. Разница тут велика, и всё же владельцы в обоих случаях заинтересованы в одном и том же. Им нужно, чтобы на сайт заходили, и желательно именно те, кому его содержимое действительно нужно.
Спор про llms.txt не сходится: и критики, и хайп меряют не тот слой
Один лагерь показывает 0,1% обращений в логах и хоронит файл. Другой обещает прирост цитируемости на 30–60%. Обе цифры реальны. Они измеряют разные вещи, и пока спорщики этого не видят, спор идёт по кругу.
«Атака ботов»: как ИИ-краулеры ддосят онлайн-проекты
DDoS-атаки становятся масштабнее и опаснее. О «самом-самом» расскажем 13 февраля, а сегодня поговорим о новом явлении. В последнее время некоторые боты-сборщики данных для обучения LLM, «используют содержимое веб-сайтов, но делают это без уважения».
Поисковые боты OpenAI на время вывели из строя сайт Triplegangers
Сайт компании 3D-моделей Triplegangers в первые выходные января перестал работать из-за распределённой атаки типа «отказ в обслуживании». Её вызвали поисковые боты от OpenAI.
