Можно ли доверять LLM как экспертам. Рассматриваю на примере ответов нейросетей с использованием поиска

Я всё чаще ловлю себя на том, что задаю вопрос непосредственно LLM, отказавшись от долгого поиска в интернете, изучения профильных форумов, отзывов и претензий. С одной стороны это гораздо быстрее, ответы выглядят логично ^[1], и гораздо легче согласиться с нейросетью, чем тратить силы и время. Но с другой стороны, насколько хорош совет модели? Почему это выбрала нейросеть, и как выбрала? Этим вопросом мало кто задаётся, поэтому я решил навскидку оценить экспертность решения.

Сценарий эксперимента: я выступаю в роли it-фрилансера и мне нужно выбрать облачный провайдер, который лучше всего подходит для маленького проекта. Опрошены основные бренды LLM с доступом к поиску.

Эксперимент

Для всех LLM был использован простой промпт:

Выступи в роли Senior-разработчика. Составь Топ-5 российских облачных провайдеров, которые лучше всего подходят для стартапов, малого бизнеса и индивидуальных IT-специалистов.

Как видно из таблицы, в целом нейросети совпадают в топ 5 провайдеров. Топ лучших по убыванию: Первое и второе место разделили Yandex Cloud и Timeweb Cloud, дальше VK Cloud, Selectel, Cloud.ru ^[2]. Российские LLM включили в рейтинг Cloud4Y и  Beget, зарубежные, кроме Claude, их проигнорировали.

Оригинальностью отличился Deepseek. А вот Алиса и, что забавно, Gigachat не включили в топ сберовский Cloud.ru ^[2]. Алиса на первое место поставила Timeweb Cloud, вместо родного Yandex Cloud.

Честно говоря, задавая роль Senior-разработчика, я не ждал чего-то невероятного. И да, форма подачи моделями топа-5 полностью соответствовала установленной роли, но только форма. LLM использовала красивые профессиональные термины, демонстрировала глубокое понимание и критическое мышление ^[8], но ни одна из нейросетей не повела себя как настоящий сеньор, не было встречных вопросов, уточнений (я понимаю, что это должен был сделать промпт, но эксперимент должен быть чистым), а самое главное, если очистить ответы от натянутой на обзор интернета псевдологики, то я получил сводку из первых пяти ссылок. То есть LLM, по крайней мере в режиме поиска, не продемонстрировала архитектурную экспертизу, а по сути зафиксировала успех seo-маркетологов, фактически срез медийного присутствия брендов.

Оценка интернет-источников

Судя по ссылкам базовые запросы моделей были “топ Х для малого бизнеса” “Лучшие Х  для малого бизнеса” и так далее. Ничем не хуже и не лучше человеческих поисковых запросов.

Попробуем оценить на какие источники опирались нейросети при формировании топа

Выводы:

• Геотаргетинг (Алиса и DeepSeek):
  Поисковые движки Алисы и DeepSeek оказались наиболее чувствительны к метаданным пользователя (IP-адрес в Казахстане). Вместо стандартной выдачи они подмешали в контекст региональные источники (включая весьма забавную в смысле авторитетности “Нашу газету” из Костаная).

• Уязвимость перед сильным контент-маркетингом:
  Обзорная статья в блоге провайдера Cloud4Y попала в поисковый пул четырех моделей из шести. при этом сам Cloud4Y в итоговый топ-5 не попал. Здесь да, модели проявили (возможно специально выученную) поправку на источник. Хотя Gigachat в результате заменил Cloud.ru ^[2] на Cloud4Y. То есть, не надо стесняться хвалить себя на своих сайтах. Нейросеть всё равно сделает поправку.

• Разница в поисковых стратегиях (Глубина vs. Первоисточники):

  • DeepSeek ставит абсолютный рекорд по числу затронутых страниц (112 ссылок), используя тактику агрессивного парсинга с жесткой последующей фильтрацией.

  • Gemini в прямом ответе не указала ссылки на источники. При добавлении в промпт требования предоставить ссылки на источники и поисковые запросы, перечень выглядит гораздо беднее чем у других LLM. Есть подозрения, что Gemini частично генерирует их постфактум на основании ответа через обратную рационализацию. А в целом, у меня сложилось ощущение, что Google маскирует механизм выбора ссылок, не позволяя пользователям (и SEO-специалистам) через чат-бота понять, как именно алгоритм оценивает авторитетность источников.

  • Claude и ChatGPT ищут баланс, агрегируя профессиональные СМИ, блоги и живые дискуссии разработчиков (Хабр, Reddit).

Топ-10 источников, сформировавших мнение LLM

Для составления этого рейтинга были проанализировано использование моделями уникальных URL-адресов. Если страница встречалась в топе источников у конкретной LLM, это засчитывалось как упоминание.

Успех статей Cloud4Y в эксперименте демонстрирует, что SEO остается нашим всё для контент-менеджеров. Модель не понимает, хорош провайдер или плох, насколько ангажирован корпоративный сайт, она оценивает только релевантность текста в поисковой выдаче. 

Позиции провайдеров в рейтингах самих источников

Интересно, как LLM обрабатывают конфликт ^[37] интересов. Несмотря на то, что SEO-статьи Cloud4Y попали в выборку 4 из 6 моделей, в итоговый консенсус-топ этот провайдер не вошел (только на 4-5 места у локальных моделей). То же самое с Serverspace. Две гипотезы: 

1. Этим статьям не хватило подтверждения из других источников.

2. Модели (особенно зарубежные ChatGPT, Claude, Gemini) способны распознавать ангажированность корпоративных блогов (сомнительно).

Полагаю, что Cloud4Y не попал в топ-5 ИИ только из-за малого присутствия в общем медийном поле. При усреднении его хорошие статьи проиграли общей массе. 

А вот если завтра условный ноунейм-провайдер наймет мощную команду SEO-специалистов и закупит ссылки на агрегаторах, LLM с вероятностью 90% начнут рекомендовать его как надежное Enterprise-решение. Нейросети не беспристрастные судьи, а простые ретрансляторы наиболее агрессивной рекламной кампании в индексах поисковиков.

Матрица корреляции ответов LLM с оригинальными рейтингами в статьях

Формула: Состав (С)  % — доля угаданных участников / Позиция (П) % — доля угаданных мест

Обратите внимание ^[38] на огромный разрыв между параметрами «С» (Состав) и «П» (Позиция). В большинстве случаев совпадение состава составляет 80–100% (модели берут тех же провайдеров, что и в статье). Но совпадение позиций низкое — максимум 60%. То есть LLM используют интернет-источники как основу, но ранжируют по собственному алгоритму. Прямого копирования рейтинга из источника  я не обнаружил. Как работает алгоритм фактического ранжирования сказать нельзя. Учитывая, что при нескольких запросах порядок и состав провайдеров в топе несущественно меняется, полагаю ключевое, это статистическое усреднение + случайность ^[39].

А вот теперь ключевой расчёт, для чего я и затеял всю эту суету, беру топ источников с рейтингами, считаю сводный и сравниваю с тем, что дали LLM:

И мы видим, что итоговые рейтинги ИИ и источников практически полностью совпадают. Почему VK Cloud модели переместили на третье место? Две гипотезы: 

1. Нейросети выучили, что Yandex Cloud — крупнейший игрок в РФ и опираясь на свои веса они передвигают его вверх (сомнительно). 

2. Timeweb Cloud лучше позиционировал себя как провайдера для малого бизнеса и стартапов и за счет этого вышел в лидеры. 

Вторая гипотеза не отрицает того, что возможно VK Cloud больше позиционирует себя как enterprise бизнес, что помешало ему в убедить LLM в своей полезности.

Заключение

В нашем случае мы получили от LLM не больше, чем если бы потратили на самостоятельный поиск пять минут. Фактически, модели дали текущий срез топовых ссылок из поисковиков по банальным запросам с легким смещением по промпту. Единственное, произошла небольшая корректировка важности критериев на более подходящие малому бизнесу. 

В статье я оценивал только как нейросети формируют свои ответы при запросе рекомендаций. Насколько экспертны модели в этом вопросе? Думаю не больше, чем статьи, которые они нагуглили.

Так что SEO живее всех живых, а на текущий момент GEO требует лишь изменение формы подачи. Если SEO-шники обманывали алгоритмы гугла и яндекса, то для них ничего не поменялось и с появлением LLM.

P.S. По существу вопроса о лучшем провайдере я ничего не скажу (из всех провайдеров лишь однажды пользовался услугами TimeWeb). Статья не задумывалась как реклама, но обвинений в ней не избежать. Поэтому если какая-то компания хочет оценить, как её видит LLM, готов к сотрудничеству.