Cloudflare приобрела Human Native. Компания разработала технологию, которая использует неструктурированный контент от обычных издателей, авторов и медиа-компаний и преобразует его в понятный для ИИ.
Вместо того чтобы заниматься веб-скрейпингом, Human Native преобразует контент в организованный, который могут лицензировать разработчики ИИ.
Отмечается, что один из клиентов компании даже отказался от своего обучающего контента после тестирования данных Human Native и обнаружил, что это помогло создать более совершенный ИИ.
Cloudflare рассматривает эту сделку как поворотный момент для всего интернета. В течение последнего года провайдер предоставлял владельцам сайтов возможность управлять поведением ботов. Так, AI Crawl Control позволяет издателям выбирать, какие сканеры должны проходить проверку, а какие — оставаться в резерве. Также вышел инструмент Pay Per Crawl, который позволит владельцам сайтов установить собственную цену за запросы ИИ‑ботов. Это решение интегрируется с существующей веб‑инфраструктурой Cloudflare, используя коды статуса HTTP и установленные механизмы аутентификации для создания фреймворка для платного доступа к контенту.
Благодаря инструментам Human Native Cloudflare может выйти за рамки простого предотвращения нежелательного доступа и начать формировать сам процесс обмена данными. Это часть растущей концепции AI Index, в рамках которой разработчики подписываются на структурированные обновления вместо того, чтобы отправлять миллионы ботов на одни и те же URL-адреса. Сайты могут публиковать изменения в режиме реального времени, а компании, занимающиеся ИИ, получат аккуратные, легальные и правильно подготовленные каналы данных вместо случайных данных. Такая структура также позволяет устанавливать цены, условия лицензирования и обеспечивать удобный для создателей контроль.
В Human Native называют этот переход моментом, когда ИИ выйдет из «фазы Napster». Так, музыкальное пиратство вынудило компании перейти к стриминговым сервисам и более справедливым условиям. Обучение ИИ, похоже, движется в том же направлении.
В декабре Cloudflare отчиталась, что заблокировала более 416 млрд запросов от ИИ-ботов с июля. Такую работу провели в рамках инициативы «День независимости контента».
Между тем группа RSL Collective анонсировала собственную спецификацию нового стандарта под названием Really Simple Licensing (RSL), который будет определять, к каким частям веб-сайта могут получить доступ поисковые роботы, но не будет фактически блокировать их. Этот стандарт уже приняли Cloudflare, Akamai и Fastly, а поддержали Yahoo, Ziff Davis, O’Reilly Media и другие. CC также была среди тех, кто объявил о своей поддержке RSL.
Автор: maybe_elf
