Cloudflare купила разработчика преобразователя неструктурированных данных Human Native

Cloudflare приобрела ^[1] Human Native. Компания разработала технологию, которая использует неструктурированный контент от обычных издателей, авторов и медиа-компаний и преобразует его в понятный для ИИ.

Вместо того чтобы заниматься веб-скрейпингом, Human Native преобразует контент в организованный, который могут лицензировать разработчики ИИ.

Отмечается, что один из клиентов компании даже отказался от своего обучающего контента после тестирования данных Human Native и обнаружил, что это помогло создать более совершенный ИИ. 

Cloudflare рассматривает эту сделку как поворотный момент для всего интернета. В течение последнего года провайдер предоставлял владельцам сайтов возможность управлять поведением ^[2] ботов. Так, AI Crawl Control позволяет издателям выбирать, какие сканеры должны проходить проверку, а какие — оставаться в резерве. Также вышел ^[3] инструмент Pay Per Crawl, который позволит владельцам сайтов установить собственную цену за запросы ИИ‑ботов. Это решение интегрируется с существующей веб‑инфраструктурой Cloudflare, используя коды статуса HTTP и установленные механизмы аутентификации для создания фреймворка для платного доступа к контенту.

Благодаря инструментам Human Native Cloudflare может выйти за рамки простого предотвращения нежелательного доступа и начать формировать сам процесс обмена данными. Это часть растущей концепции AI Index, в рамках которой разработчики подписываются на структурированные обновления вместо того, чтобы отправлять миллионы ботов на одни и те же URL-адреса. Сайты могут публиковать изменения в режиме реального времени, а компании, занимающиеся ИИ, получат аккуратные, легальные и правильно подготовленные каналы данных вместо случайных данных. Такая структура также позволяет устанавливать цены, условия лицензирования и обеспечивать удобный для создателей контроль.

В Human Native называют этот переход моментом, когда ИИ выйдет из «фазы Napster». Так, музыкальное пиратство вынудило компании перейти к стриминговым сервисам и более справедливым условиям. Обучение ^[4] ИИ, похоже, движется в том же направлении. 

В декабре Cloudflare отчиталась ^[5], что заблокировала более 416 млрд запросов от ИИ-ботов с июля. Такую работу провели в рамках инициативы «День независимости контента».

Между тем группа RSL Collective анонсировала ^[6] собственную спецификацию нового стандарта под названием Really Simple Licensing (RSL), который будет определять, к каким частям веб-сайта могут получить доступ поисковые роботы, но не будет фактически блокировать их. Этот стандарт уже приняли Cloudflare, Akamai и Fastly, а поддержали Yahoo, Ziff Davis, O’Reilly Media и другие. CC также была среди тех, кто объявил о своей поддержке RSL.