Данные Cloudflare показывают, что сочетание поиска Google и сканирования с помощью искусственного интеллекта даёт компании огромное преимущество в плане данных перед OpenAI и Anthropic.
Генеральный директор Cloudflare Мэтью Принс утверждает, что Google получает выгоду от необычайно привилегированного уровня доступа к интернету благодаря тому, как поисковый робот связан с системами сбора данных для искусственного интеллекта.
По словам Принса, внутренние измерения Cloudflare показывают, что в настоящее время Google просматривает в 3,2 раза больше страниц, чем OpenAI. Разница ещё больше, если сравнивать с другими конкурентами: Google просматривает в 4,6 раза больше контента, чем Microsoft, и в 4,8 раза больше, чем Anthropic. По мнению Принса, этот дисбаланс связан с решением Google объединить поисковый робот с роботом для ИИ. Владельцы сайтов не могут заблокировать обучение ИИ, не исчезнув при этом из поисковой системы Google, что создаёт дилемму, которая фактически дает Google эксклюзивный доступ к огромным объёмам данных.
Принс рассматривает это как злоупотребление давним доминированием на рынке, предполагая, что поведение Google позволяет компании распространить свою историческую монополию на развивающуюся сферу искусственного интеллекта.
Как привязка к поиску ограничивает возможности издателей в блокировке ИИ-скрапинга
Масштаб дисбаланса становится более очевидным, если посмотреть, насколько агрессивно владельцы сайтов пытаются дать отпор. С 1 июля Cloudflare уже заблокировала 416 миллиардов запросов ИИ для своих клиентов. Эти блокировки в основном затрагивают компании, которые следуют стандартам или идентифицируют своих краулеров отдельно. Однако Google обходит этот барьер благодаря тесному взаимодействию своих поисковых систем и ИИ.
Перед издателями стоит дилемма: разрешить использовать свой контент для обучения ИИ-моделей Google или потерять позиции в поисковой выдаче. Для многих такой компромисс может оказаться губительным с финансовой точки зрения.
Принс сказал WIRED, что Google является главным препятствием на пути к прогрессу, если только на него не будет оказано давление или его не убедят разделить поисковые и ИИ-краулеры. Без такого разделения у издателей практически не будет возможности защитить свой контент или договориться о моделях лицензирования, которые будут иметь решающее значение в эпоху ИИ.
Делегируйте часть рутинных задач вместе с BotHub! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!
Автор: MrRjxrby
