веб-скрейпинг.

Гендиректор Cloudflare: к 2027 году трафик от ботов в интернете превысит трафик от людей

Генеральный директор Cloudflare Мэтью Принс считает, что боты захватывают интернет. В интервью на конференции SXSW в Остине он заявил, что с учётом скорости развития искусственного интеллекта, к 2027 году трафик от ИИ-ботов превысит объём онлайн-трафик��, генерируемого людьми.

продолжить чтение

Компания прокси-сетей внедрила SDK в приложения для Smart TV, которые превращают их в узлы для веб-сканирования

Компания Bright Data, управляющая одной из крупнейших в мире сетей резидентных прокси, выпустила SDK для приложений смарт-телевизоров, превращая эти устройства в узлы для веб-сканирования — сбора данных, используемых, в частности, компаниями искусственного интеллекта. При этом большинство потребителей даже не подозревали о нововведении.

продолжить чтение

TollBit: в конце 2025 года каждый 31-й визит на сайты приходился на ИИ-ботов

Компания TollBit, которая отслеживает трафик ИИ-ботов, подсчитала, что к четвёртому кварталу 2025 года каждый 31-й визит на сайты приходился на ИИ-ботов. Ещё в первом квартале соотношение составляло 1 к 200. 

продолжить чтение

Cloudflare купила разработчика преобразователя неструктурированных данных Human Native

Cloudflare приобрела Human Native. Компания разработала технологию, которая использует неструктурированный контент от обычных издателей, авторов и медиа-компаний и преобразует его в понятный для ИИ.

продолжить чтение

Creative Commons объявила о предварительной поддержке систем ИИ с оплатой за просмотр

Некоммерческая организация Creative Commons высказалась в поддержку системы автоматической компенсации за контент веб-сайтов, если доступ к нему получают веб-краулеры на основе ИИ.

продолжить чтение

Открытый стандарт лицензирования контента в интернете стал официальной спецификацией

Открытый стандарт лицензирования Really Simple Licensing 1.0 (RSL) получил статус официальной спецификации. Он должен обязать ИИ-компании платить за контент, собираемый ими в интернете.

продолжить чтение

Представлен стандарт лицензирования контента для оплаты за сбор ботами данных для обучения ИИ

Группа разработчиков во главе с одним из создателей RSS Экартом Вальтером представила открытый стандарт лицензирования контента Really Simple Licensing (RSL), который позволит издателям возможность определять условия оплаты за сбор ботами данных для обучения ИИ. 

продолжить чтение

Free Software Foundation пожаловался на атаки на ресурсы фонда

В Фонде свободного программного обеспечения (Free Software Foundation, FSF) рассказали о непрекращающихся DDoS-атаках на IT-ресурсы фонда. При этом команда SysOps FSF включает всего двух штатных технических специалистов и нескольких волонтёров. 

продолжить чтение

Веб-скрапинговые ИИ-боты вызывают сбои в работе научных баз данных и журналов

Автоматизированные программы, собирающие данные для обучения инструментов искусственного интеллекта, перегружают академические веб-сайты. В результате возникают сбои в работе ресурсов.

продолжить чтение

«Википедия» представила набор данных для обучения ИИ ради борьбы со скрейпингом

«Википедия» пытается решить проблему перегрузки своих серверов из-за агентов ИИ, которые занимаются веб-скрейпингом. Интернет-энциклопедия выпустила набор данных, специально оптимизированный для обучения моделей искусственного интеллекта. 

продолжить чтение

Rambler's Top100