веб-краулер.

Cloudflare заставит ИИ-компании платить за контент издателей

Компания Cloudflare установила для индустрии ИИ новый крайний срок для разделения веб-краулеров, используемых для традиционного поиска, например, Google Search, от тех, которые используются для ИИ-агентов и обучения. Начиная с 15 сентября 2026 года, настройки Cloudflare по умолчанию будут блокировать «смешанные» краулеры на страницах, содержащих рекламу.

продолжить чтение

340 местных новостных изданий блокируют Интернет-архив

По информации Nieman Lab, региональные СМИ начали блокировать Internet Archive из-за опасений, что компании, занимающиеся искусственным интеллектом, могут использовать данные из репозиториев этой некоммерческой организации для обучения. Число таких изданий достигло 340.

продолжить чтение

Гендиректор Cloudflare: к 2027 году трафик от ботов в интернете превысит трафик от людей

Генеральный директор Cloudflare Мэтью Принс считает, что боты захватывают интернет. В интервью на конференции SXSW в Остине он заявил, что с учётом скорости развития искусственного интеллекта, к 2027 году трафик от ИИ-ботов превысит объём онлайн-трафик��, генерируемого людьми.

продолжить чтение

Разработчик показал, как в Nginx можно просто защитить свой экземпляр Forgejo от веб-краулеров с ИИ

Разработчик Ян Эспозито представил

продолжить чтение