Спор про llms.txt не сходится: и критики, и хайп меряют не тот слой

Один лагерь показывает 0,1% обращений в логах и хоронит файл. Другой обещает прирост цитируемости на 30–60%. Обе цифры реальны. Они измеряют разные вещи, и пока спорщики этого не видят, спор идёт по кругу.

Я полгода вожусь с llms.txt на клиентских проектах и на собственном сайте. В мае прогнал восемь AI-систем через контролируемый тест, чтобы перестать гадать и увидеть, кто реально читает файл. Результат не подтвердил ни одну из двух громких позиций целиком. Он показал третью картину, которую обе стороны пропускают: llms.txt живёт не в логах фоновых краулеров и не в магии ранжирования. Он живёт в агентном слое реального времени и в IDE-агентах. Это узкое место, но там он работает.

TL;DR

• Критики правы: фоновые AI-краулеры (GPTBot, ClaudeBot, PerplexityBot) почти не запрашивают /llms.txt. Логи это подтверждают: у OtterlyAI — 0,1% обращений за 90 дней.

• Хайп-лагерь тоже не на пустом месте: часть систем читает файл — но не фоном, а в момент агентной задачи, по сути в реальном времени.

• «+30–60% цитируемости» — цифра из чужих GEO-исследований (статистика, цитаты, адверториалы), а не из замеров самого файла. К llms.txt её приклеили задним числом.

• Я протестировал 8 систем. Файл при прямом запросе читают только ChatGPT 5.5 и Grok 4. Ни одна не идёт к нему сама, без запроса.

• На практике файл уже работает в одном месте — у coding- и IDE-агентов (Cursor, Claude Code, Copilot): документационные сайты отдают им /llms.txt и /llms-full.txt вместо HTML.

• Google официально отказался поддерживать стандарт. Anthropic, по стороннему отчёту (Presenc AI), учитывает файл в retrieval. OpenAI молчит. Формального стандарта (IETF) нет.

• Вывод: для маркетингового лендинга файл почти мёртв. Для SaaS, документации и API — рабочий навигационный слой. Делать за 30 минут, ждать чудес не стоит.

Две цифры, которые не сходятся

Возьмите любую ветку обсуждения llms.txt — и вы увидите два лагеря, которые говорят на разных языках.

Первый лагерь продаёт файл как новый sitemap.xml. Аргумент: внедряется за час, лидеры рынка уже сделали, цитируемость в AI-выдаче растёт на 30–60% при прочих равных. Звучит как готовая услуга, которую можно завернуть в коммерческое предложение.

Второй лагерь файл хоронит. Аргумент жёсткий и с данными: аудит CDN-логов на тысяче доменов за месяц показал ноль обращений от GPTBot, ClaudeBot и PerplexityBot. Файл никто не качает. Джон Мюллер из Google публично сравнивал его с мета-тегом keywords — то есть с реликтом, который ни на что не влияет. Вывод лагеря: cargo cult, очередная имитация работы.

Обе позиции опираются на реальные наблюдения. И обе делают одну ошибку: меряют один механизм доступа и распространяют вывод на все остальные. Лагерь критиков смотрит на логи фоновых краулеров — и там действительно пусто. Лагерь хайпа смотрит на отдельные случаи цитирования — и приписывает их файлу, хотя причина может быть в чём угодно.

Чтобы развести спор, нужно сначала развести механизмы. Их три, и путать их — корень всей путаницы.

Три механизма доступа AI к сайту — и только один про llms.txt

Когда говорят «AI прочитал сайт», за этой фразой прячутся три разных процесса. В продуктовой логике это разные контуры, и по логам одного контура нельзя делать выводы обо всех остальных.

Первый — фоновый краулинг. GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot ходят по вебу и складывают контент в индекс на будущее. Это не диалог в реальном времени, это заготовка впрок. Краулер обходит HTML напрямую, ему не нужна навигационная подсказка — он и так строит карту сайта из ссылок. Именно эти боты замеряют критики в логах. И они правы: к /llms.txt эти краулеры почти не заходят.

Второй — агентный браузинг в реальном времени. Пользователь даёт системе задачу, и она прямо сейчас, в процессе ответа, делает HTTP-запросы к нужным URL. ChatGPT с включённым браузингом, Grok, агентные сценарии Claude. Вот здесь /llms.txt обретает смысл: агент, которому надо быстро понять структуру незнакомого сайта, может запросить файл как точку входа. Этот слой в логах фоновых ботов не виден — у него другие user-agent и другая логика. Критики его не замеряют. Хайп-лагерь о нём смутно догадывается, но доказать не может.

Третий — обучающие данные. Модель отвечает из того, что выучила на срезе обучения. Никакого чтения в реальном времени, никакого llms.txt. Информация зафиксирована на дате обучения и устаревает вместе с ней.

Для llms.txt значение имеет только второй механизм. Файл — навигационная карта для агента, который работает с сайтом руками прямо сейчас, а не для краулера через месяц или модели, которая вас уже выучила. Как только это разделение встаёт на место, спор рассыпается: критики правы про слой 1, а вопрос «работает ли llms.txt» относится к слою 2, который они не трогали.

Проверим оба слоя данными. Сначала — слой, где правы критики.

Наблюдение 1: честные логи 2026 (критики правы наполовину)

Слой фоновых краулеров изучен лучше всего, потому что его легко замерить — достаточно поднять логи сервера или CDN. Данные сходятся, и они не в пользу файла.

OtterlyAI поставили llms.txt на тестовый домен и 90 дней смотрели трафик AI-ботов. Из 62 100 визитов к файлу обратились 84 раза. Это 0,1% всего AI-краулингового трафика. Остальные 99,9% ботов обходили HTML напрямую, файл игнорируя.

Аудит CDN-логов на тысяче доменов Adobe Experience Manager за месяц дал ту же картину: специализированные LLM-боты к /llms.txt практически не обращались. Та самая «тысяча доменов, тридцать дней, ноль» из критических разборов.

SE Ranking прошлись по 300 000 доменов и насчитали 10,13% внедрения. Каждый десятый сайт файл уже завёл — стандарт перестал быть экзотикой. Но наличие файла и его чтение — разные вещи: тот же анализ цитируемых AI-системами страниц нашёл llms.txt меньше чем у 1% из них. Цитируют сайты, а файл при этом не открывают.

Та же работа SE Ranking закрывает и вопрос цитирования: связи между наличием llms.txt и частотой цитирования в крупных AI-ответах нет. Search Engine Journal вынес это прямо в заголовок — «никакого ясного эффекта на 300 тысячах доменов». Тогда откуда «+30–60%»? Я искал первоисточник под эту цифру и не нашёл ни одной работы, которая мерила бы именно llms.txt. Числа кочуют из других исследований: Princeton GEO намерил +30–40% от добавления статистики и прямых цитат в текст, отчёт Digital Bloom — +37% от pull-quote’ов, ещё одна работа — +35–60% от размещения адверториалов на авторитетных площадках. Ни одна из этих тактик не относится к файлу в корне домена. Хайп-лагерь взял чужие результаты по другим методам GEO и приписал их llms.txt.

Вывод по слою 1 я принимаю целиком: фоновые AI-краулеры файл не читают. Если вы ждёте, что заведёте llms.txt и завтра GPTBot прибежит его изучать — этого не будет. Лагерь критиков здесь не передёргивает, он смотрит в логи и честно их пересказывает.

Проблема в другом. Слой 1 — не то место, где файл должен работать. Чтобы проверить слой 2, логов фоновых ботов недостаточно. Нужен прямой тест поведения систем в реальном времени.

Наблюдение 2: мой тест 8 систем в реальном времени

Сразу оговорюсь: это не статистическое доказательство, а воспроизводимый срез поведения на конкретную дату.

В мае 2026 я взял восемь AI-систем с веб-доступом и прогнал каждую через пять сценариев. Цель — увидеть не то, что боты делают фоном, а то, как система ведёт себя, когда ей прямо сейчас нужно разобраться с сайтом.

Честно о рамках теста, чтобы не выдавать его за большее. Это n=1 на систему: один прогон из пяти промтов, не статистическая выборка. Веб-доступ включён там, где это опция. Часть «знаний» о сайтах могла прийти из обучающих данных, а не из браузинга — я старался это отсеять по признакам реального запроса. И результат привязан к маю 2026: модели обновляются, через квартал картина сдвинется. Тест даёт срез поведения, а не вечную истину.

Пять сценариев: проактивный анализ сайта с рабочим файлом, прямой запрос «прочитай /llms.txt», две ловушки с 404 (файл есть, но на поддомене документации, не на основном домене), и агентный сценарий «ты агент, опиши первые три шага по разбору сайта» — без единого упоминания llms.txt. Каждый критерий стоил балла: реальный HTTP-запрос, корректная интерпретация, использование в ответе, упоминание файла в агентном плане по своей инициативе, честная обработка 404 без галлюцинаций.

Вот что получилось.

Два вывода из этой таблицы важнее самих баллов.

Первый: файл при прямом запросе уверенно читают только двое — ChatGPT 5.5 и Grok 4. Это слой 2 в чистом виде. Логи фоновых краулеров его не покажут: запрос идёт в момент задачи, под другим user-agent, по воле пользователя. Хайп-лагерь чувствовал, что «что-то работает», но не мог показать где. Теперь видно где — в слое 2.

Второй, и он отрезвляет обе стороны: в этом прогоне (май 2026) ни одна из восьми систем не пошла к файлу сама, без запроса. Даже лидеры. «Агентное поведение» означало, что система включает /llms.txt в план первых шагов, когда её спрашивают про подход — кто-то ставит его первым, кто-то после robots.txt и главной. Реально же она открывала файл только при прямой команде «прочитай». Автоматического фонового чтения llms.txt в 2026 нет ни у кого. Это граница, за которую хайп заходить не должен.

И отдельный сюжет — Perplexity. Самая «поисковая» из AI-систем заняла последнее место по работе с llms.txt. Парадокс объясняется через те же три слоя: Perplexity в основном режиме отвечает из поискового индекса, а не делает прямой HTTP-запрос к файлу. Он видел страницы при индексации, но /llms.txt в реальном времени не открывает. Поисковая система проиграла агентным именно там, где, казалось бы, должна была выиграть. Потому что llms.txt — про агентный браузинг, а не про поиск.

Отдельная деталь из теста, которая говорит о зрелости подхода. На месте отсутствующего файла Anthropic и OpenAI отдают не сухой 404, а хайку. Claude Haiku 4.5 пишет «Hyperlink beckons — four-zero-four echoes back: nothing waits below», у OpenAI стих подписан «gpt-5.5». Мелочь, но показательная: компании уже думают о том, как их инфраструктуру читают и агенты, и люди — даже на странице ошибки.

Где llms.txt уже работает на практике: IDE-агенты

Если слой 2 у браузинговых чат-систем пока узкий и не автоматический, есть одно место, где файл читается рутинно и без всякого хайпа. Это среды разработки.

В моей практике и в agent-friendly документации это уже рабочий паттерн: документационные сайты всё чаще отдают /llms.txt, /llms-full.txt и .md-версии страниц, чтобы coding- и IDE-агентам (Cursor, Claude Code, Copilot, Windsurf, Cline, Aider) не приходилось парсить HTML с навигацией, баннерами и футером. Подтверждение видно у самих инфраструктурных игроков: Vercel держит и /llms.txt, и /llms-full.txt, и Markdown-версии страниц как machine-readable маршруты, а OpenAI — llms.txt и llms-full.txt в зоне developer-документации. Файл решает реальную боль: агенту нужен текст документации, а не вёрстка вокруг него.

Именно поэтому первыми llms.txt завели не маркетологи, а инфраструктурные компании. Посмотрите, что лежит у них и зачем.

Здесь же ответ на вопрос, который обычно обещают разобрать и не показывают: чем llms.txt отличается от llms-full.txt на практике.

llms.txt — короткая навигационная карта, 50–150 строк. H1 с названием, строка с описанием, разделы со ссылками. Агент с ограниченным контекстом читает её, чтобы понять, куда смотреть.

llms-full.txt — расширенная версия с полным контентом документации, до 500+ строк и больше. Агент, которому нужно глубоко работать с продуктом, тянет её целиком и держит документацию «в голове» во время сессии. Vercel и Anthropic держат оба файла именно для этого: краткая карта для ориентации, полная выгрузка — для работы.

Чтобы было предметно — вот минимальный рабочий llms.txt для продукта с документацией:

# Acme Analytics

> Платформа продуктовой аналитики для SaaS-команд. API, SDK и интеграции
> для отслеживания событий и воронок.

## Документация
- [Быстрый старт](https://acme.dev/docs/quickstart): установка SDK и первое событие за 5 минут
- [API Reference](https://acme.dev/docs/api): REST и GraphQL, аутентификация, лимиты
- [SDK](https://acme.dev/docs/sdk): клиенты для JS, Python, Go

## Интеграции
- [Webhooks](https://acme.dev/docs/webhooks): подписка на события в реальном времени
- [MCP-сервер](https://acme.dev/mcp): подключение агентов к данным аккаунта

## Дополнительно
- [Полная выгрузка](https://acme.dev/llms-full.txt): машиночитаемый текст всех разделов

Работают три вещи: H1 с названием продукта, строка с описанием для контекста за один взгляд, разделы с абсолютными ссылками и пояснением, что за каждой. Ссылка на llms-full.txt в конце — точка входа для агента, которому нужна не карта, а весь текст.

Деталь, которую видно по Anthropic и OpenAI: оба держат файл не на маркетинговом домене, а в зоне документации. openai.com/llms.txt отдаёт 404, а рабочий файл лежит на developers.openai.com/api/llms.txt. У Anthropic корневой anthropic.com/llms.txt тоже не отвечает файлом, а docs.anthropic.com/llms.txt редиректит на platform.claude.com/llms.txt. И там, и там agent-friendly слой вынесен в документацию и API, а не на лендинг — это не недосмотр, а логичное разделение. Если вашему сайту удобнее держать llms.txt на docs-поддомене, а не в корне, это валидный подход, подтверждённый практикой лидеров.

Что говорят вендоры на июнь 2026

Поведение систем — это одно, официальная позиция платформ — другое. На июнь 2026 она разнородная, и это само по себе диагноз зрелости стандарта.

Google сказал «нет» прямо. Гэри Иллис на Search Central Live в июле 2025 заявил, что Google не поддерживает llms.txt и не планирует. Позиция не сдвинулась. Для AI Overviews и AI Mode файл не нужен и не учитывается — там работают обычные сигналы: индексируемость, возможность показать сниппет, качество контента. Любой, кто продаёт llms.txt как способ попасть в Google AI Overviews, продаёт воздух.

Anthropic — на другом полюсе, но без громких обещаний. Компания одной из первых внедрила llms.txt и llms-full.txt для своей документации, и по отчёту Presenc AI учитывает файл в retrieval-сценариях Claude. Это согласуется с моим тестом: Claude читает файл по прямому запросу, хоть и не ходит к нему сам. Официального обязательства автоматически читать чужие llms.txt Anthropic при этом не давала.

OpenAI занимает молчаливую середину. Официального заявления нет, но поведение наблюдаемо: ChatGPT с браузингом файл открывает и использует. При этом краулеры OpenAI при рутинном обходе /llms.txt не запрашивают — снова та же развилка между слоем 1 и слоем 2.

Формального стандарта по-прежнему нет. Спецификацию ведёт сообщество вокруг llmstxt.org, идею в 2024 предложил Джереми Ховард из Answer.AI. Стандартизацию через IETF обсуждали, но к середине 2026 не выпустили. Единственный обязательный элемент по спеке — H1 с названием. Всё остальное, включая структуру разделов, — рекомендация, а не требование. Это важно держать в голове, когда кто-то говорит про «обязательность» файла.

Картина по вендорам складывается такая: один отказался, один поддерживает в узком сценарии, один молчит и тихо использует, стандарта нет. Так выглядит ранний стандарт в зоне неопределённости — без консенсуса платформ и без гарантий, что завтра поведение не сдвинется.

Кому внедрять, кому ждать — и почему «для видимости» это миф

Теперь практический вопрос: ставить или нет. Ответ зависит от того, кто к вам ходит — агенты или люди из обычного поиска.

Сначала сниму главное возражение, которое здесь напрашивается. «IDE-агенты читают llms.txt — но это инструмент для разработчиков, а не видимость в поиске. Маркетологу всё равно бесполезно». Возражение верное по сути, и я его не оспариваю. llms.txt — не про маркетинговую видимость и не про позиции. Это навигационный слой для продуктово-агентного сценария. Если ваш сайт — лендинг услуги, к которому AI-агенты не ходят разбираться руками, файл вам почти ничего не даёт. Завести можно за полчаса «для галочки», но точкой роста он не станет.

Где файл оправдан, а где нет:

И ещё одно, что важнее самого файла. llms.txt не существует в вакууме — это верхний слой стека. Если у вас нет корректного robots.txt, нет sitemap.xml, нет Schema.org на страницах — начинать надо с них. Эти слои дают больший и измеримый эффект. llms.txt добавляется поверх, не вместо. Поставить навигационную карту для агентов на сайт, который сам по себе невидим для поиска, — значит решать пятую задачу, не решив первую.

llms.txt — это только первый шаг. Что дальше

Полезно смотреть на файл не как на финальную галочку, а как на первый шаг в более крупной перестройке. Дуэйн Форрестер сформулировал это точно: llms.txt — только первый шаг, дальше начинается архитектура.

Логика такая. Сначала вы отдаёте агенту навигационную карту — это llms.txt. Потом отдаёте чистый машиночитаемый контент — .md-версии страниц без HTML-шума, на которые карта и ссылается. Потом даёте не просто читать, а действовать — через MCP-серверы и OpenAPI, чтобы агент не пересказывал ваш сайт, а работал с вашим API. Vercel и GitHub уже прошли этот путь: навигационный файл, Markdown Access, MCP-сервер в связке.

Я бы не называл это «будущим» — это уже происходит на инфраструктурных проектах. Для остальных это ориентир: если агентный веб для вашего продукта реален, llms.txt — не цель, а вход в более серьёзную работу с машиночитаемым слоем сайта.

Вывод

Спор «бесполезен или +60%» неразрешим, пока обе стороны меряют разные слои и называют это одним словом. Разведите механизмы — и противоречие исчезает.

Критики правы про фоновые краулеры: в логах к /llms.txt почти никто не ходит, 0,1% у OtterlyAI это закрывает. Хайп-лагерь нащупал реальный эффект, но в неправильном месте: файл читают не фоном, а в агентном браузинге реального времени, и пока только две системы из восьми делают это уверенно, ни одна — без запроса. На практике файл уже работает у coding- и IDE-агентов: для документации и API это рабочий инструмент уже сегодня.

llms.txt — не SEO-хак, не сигнал ранжирования и не путь в Google AI Overviews. Это узкий навигационный слой для агентного и IDE-веба. Для SaaS, документации и devtools я бы добавлял файл как дешёвый слой совместимости с агентами — не как канал роста, а как инфраструктурную гигиену. Для лендинга или локального бизнеса — сначала robots.txt, sitemap.xml и Schema.org, а файл потом и без иллюзий.

У файла узкая, но реальная область применения. Вся путаница в споре шла от того, что эту область никто не очертил.

FAQ

Нужен ли llms.txt для попадания в Google AI Overviews? Нет. Google официально не поддерживает файл — это подтвердил Гэри Иллис на Search Central Live в июле 2025. Для AI Overviews и AI Mode работают обычные сигналы: индексируемость, возможность показать сниппет, качество контента. llms.txt решает другую задачу — навигацию для агентов.

ChatGPT и Grok читают llms.txt сами, без запроса? Нет. В моём тесте ни одна из восьми систем не пошла к файлу по своей инициативе. ChatGPT 5.5 и Grok 4 читают его при прямом запросе. В агентном сценарии файл попадает в план, но не всегда первым шагом: ChatGPT ставит его первым, Grok и часть других — после robots.txt и главной. Фонового автоматического чтения нет ни у кого.

Если логи показывают 0,1% обращений, зачем вообще ставить файл? 0,1% — это слой фоновых краулеров, где файл и не должен работать. Его слой — агентный браузинг в реальном времени и IDE-агенты, которые в эти логи не попадают: другой user-agent, запрос по воле пользователя. Для SaaS и документации эффект реальный, просто не виден в краулинговых логах.

Чем llms.txt отличается от llms-full.txt? llms.txt — короткая навигационная карта, 50–150 строк: название, описание, разделы со ссылками. llms-full.txt — полная выгрузка документации, 500+ строк, чтобы агент держал её целиком во время сессии. Краткая карта — для ориентации, полная — для глубокой работы. Vercel и Anthropic держат оба.

Что обязательно в файле по спецификации? Единственный обязательный элемент по спецификации llmstxt.org — H1 с названием сайта или проекта. Строка с описанием технически необязательна, но без неё агенту сложнее понять контекст за один взгляд. Разделы со ссылками — рекомендация, не требование.

Источники

• OtterlyAI — эксперимент с llms.txt, 90 дней мониторинга AI-ботов (0,1% обращений): https://otterly.ai/blog/the-llms-txt-experiment/

• Search Engine Journal — «LLMs.txt не даёт ясного эффекта на цитирование, 300k доменов» (по данным SE Ranking): https://www.searchenginejournal.com/llms-txt-shows-no-clear-effect-on-ai-citations-based-on-300k-domains/561542/

• Search Engine Journal — «Google Says LLMs.Txt Comparable To Keywords Meta Tag» (Джон Мюллер): https://www.searchenginejournal.com/google-says-llms-txt-comparable-to-keywords-meta-tag/544804/

• SE Ranking / Search Engine Land — отслеживание сайтов и adoption-данные (10,13%): https://searchengineland.com/does-llms-txt-matter-467740

• Digital Bloom — 2025 AI Citation Report (+37% от pull-quote’ов; источник заимствованных «+30–60%»): https://thedigitalbloom.com/learn/2025-ai-citation-llm-visibility-report/

• Princeton GEO study (Aggarwal et al.) — +30–40% от статистики и цитат в тексте, не от llms.txt

• Presenc AI — State of llms.txt 2026: позиции Anthropic, OpenAI, Google: https://presenc.ai/research/state-of-llms-txt-2026

• Duane Forrester — «llms.txt was step one»: https://duaneforresterdecodes.substack.com/p/llmstxt-was-step-one-heres-the-architecture

• Спецификация: https://llmstxt.org

• Полная методика моего теста 8 систем: https://sk-seo.ru/blog/llms-txt-2026.html