Сколько живёт ссылка в ответе нейросети: сравнил три замера по 20 вопросам

Если вы следите, ссылается ли нейросеть на ваш сайт, полезно знать, сколько ссылка держится в ответе на один и тот же вопрос. Недолго: через полтора месяца в ответах Алисы AI и Perplexity осталось от четверти до трети прежних ссылок (27,5% у Perplexity, 35,5% у Алисы AI), а больше половины ссылок оказались новыми.

Я задал обеим нейросетям 20 вопросов одной ниши (как попасть в ответы нейросетей, сколько это стоит, где заказать). На каждый вопрос каждая нейросеть ответила пять раз: три повтора подряд за час, ещё один через 5 дней и ещё один через полтора месяца. Отчёт о том, что вы в ответе, стареет быстрее, чем кажется.

Как я считал, какие источники нейросети остались в ответе

Источником я считаю ссылку, на которую в тексте ответа стоит сноска. У Алисы AI это ссылки, помеченные как использованные в ответе: обычно их три, хотя под ответом лежит список из 5–8 ссылок. У Perplexity (sonar-pro через API с поиском) это ссылки, на которые в тексте стоит сноска с номером [n]. Медиана таких ссылок на ответ: 8 в первых замерах и 12 в третьем.

Полный список Perplexity я в основной счёт не брал. В третьем замере API стал отдавать вдвое больше источников, а чем длиннее поздний список, тем больше в нём случайных совпадений с ранним. Для сверки я посчитал и по полному списку: через полтора месяца там тоже остаётся меньше половины ссылок.

Метрику я называю *осталось прежних*. Это доля ссылок раннего ответа на вопрос, которые снова есть в позднем ответе на тот же вопрос: |A∩B| / |A|. Знаменатель — только ранний ответ, так что это не доля общих ссылок по Жаккару. Счёт суммарный: ссылки всех вопросов идут в один знаменатель. Для 5 и 45 дней с поздним ответом сравнивается каждый из трёх повторов часа, и все пары идут в тот же знаменатель. Адреса сравниваю точно, срезав www, якорь, utm-метки и косую черту в конце.

import re

def norm_url(u):
    u = u.split("#")[0].replace("://www.", "://")
    u = re.sub(r"[?&]utm_[^&]*", "", u)
    return u.rstrip("/")

def kept_share(early, late):
    """early, late: {вопрос: множество ссылок} -> |A∩B| / |A| по всем вопросам"""
    kept = total = 0
    for q, urls in early.items():
        if q not in late:
            continue
        a = {norm_url(u) for u in urls}
        b = {norm_url(u) for u in late[q]}
        kept += len(a & b)
        total += len(a)
    return kept / total if total else None

Нужен ещё фон. В первом замере я сравнил каждый из трёх повторов часа с двумя другими, вышло шесть пар. Это разброс без течения времени: если за час часть ссылок не повторилась, дело не в устаревании, а в случайности ответа.

Какая доля ссылок остаётся в ответе на тот же вопрос через 5 и 45 дней

Через 5 дней остаётся чуть больше половины прежних ссылок, через 45 дней — от 27,5% до 35,5%. Но и в тот же час повторяется не всё. У Алисы AI за час остаётся 78,3% ссылок, у Perplexity 73,9%: около четверти меняется без всякого течения времени.

Через 5 дней у Алисы AI остаётся 55,2% ссылок, у Perplexity 59,7%. Через 45 дней у Алисы AI остаётся 35,5%. У Perplexity к этому сроку остаётся 27,5%.

Часть потерь — тот же часовой разброс, поэтому я пересчитал от фона. Это грубая оценка: долю за 45 дней я просто поделил на долю за час. Получилось около 45% у Алисы AI и около 37% у Perplexity.

Ответ при этом не просто редеет, он обновляется. В ответе третьего замера 54,4% ссылок Алисы AI не встречались ни в одном из четырёх прежних ответов на тот же вопрос. У Perplexity таких новых ссылок 72,5%.

Пережить первые 5 дней тоже не значит закрепиться. Я взял ссылки, которые стояли и в первом замере, и через 5 дней. До 45-го дня из них дожили 46,5% у Алисы AI и 33,6% у Perplexity.

Сайт целиком держится чуть дольше отдельной страницы. По доменам через 45 дней остаётся 40,7% у Алисы AI и 44,9% у Perplexity: сайт остаётся в ответе, а нейросеть берёт с него другую статью.

Похожий вывод есть у Profound. На 883 000 страниц они получили, что медианная страница теряет половину доли цитирований за 11 дней после пика, а от первой цитаты до этого падения проходит в медиане 42 дня. Считают они долю страницы во всех цитированиях категории, а не то, осталась ли ссылка в ответе на тот же вопрос, поэтому с моими процентами их цифры совпадают только по смыслу.

Можно ли по повторам за час предсказать, какие ссылки нейросети доживут до 45 дней

У Алисы AI можно. Ссылки первого замера я разделил по тому, в скольких из трёх повторов часа они стояли.

Во всех трёх повторах стояли 47 ссылок. Через 5 дней из них осталось 66,0%, через 45 дней — 42,6%.

В одном повторе мелькнули 26 ссылок. Через 5 дней из них осталось 19,2%, а до 45-го дня дожили две. Ссылки из двух повторов легли посередине: 38,9% через 5 дней и 27,8% через 45.

У Perplexity прогноз работает только на неделю. Через 5 дней устойчивые ссылки заметно впереди: 70,4% против 27,9% у мелькнувших. К 45-му дню разница почти стирается, 30,6% против 23,5%.

Как часто перепроверять ответы нейросети с источниками и сколько делать повторов

По одному снимку ответа смену источников от случайного разброса не отличить. На вопрос о том, как сделать, чтобы нейросети рекомендовали бренд, Алиса AI дала три ссылки. В другом повторе того же часа совпала одна из них, и по такому снимку легко решить, что ответ сменился. Через 5 дней в ответе стояли все три, через 45 дней — снова одна.

Для мониторинга нейросетей из этого следует такой порядок.

1. Снимать три повтора в один час, как в моём расчёте. Без них потерю места в ответе не отличить от разброса, который за час съедает 22–26% ссылок.

2. Повторять тот же вопрос через время. Отчёту старше полутора месяцев не верить без проверки: к 45 дням в ответе остаётся от четверти до трети прежних ссылок.

3. Считать своими места, которые стоят во всех повторах первого дня. У Алисы AI такая ссылка доживает до 45 дней заметно чаще мелькнувшей.

4. В отчёте подрядчика искать повторы и фон. Если там один снимок и вывод о динамике, цифре верить нельзя.

Это работает и в обратную сторону. Больше половины ссылок позднего ответа были новыми, так что за месяц место в ответе можно не только потерять, но и занять.

Что расчёт на 20 вопросах не доказывает

Вопросы из одной ниши, замеров три: на другую тематику цифры переносить рано, а кривую между 5 и 45 днями не построить. Прогноз по повторам стоит на малых числах, у Алисы AI это 47 и 26 ссылок. Perplexity снимался через API, а не в чате, и в третьем замере отвечал длиннее, так что его удержание скорее завышено.

Как часто вы перепроверяете ответы нейросетей и делаете ли повторы в один час?