Что такое LLMs.txt и LLMs-full.txt и как заставить AI знать документацию наизусть

Мы привыкли к классическому набору любого сайта: robots.txt экономит ресурсы сервера, запрещая поисковикам сканировать мусорные страницы, а sitemap.xml, наоборот, скармливает поисковикам каждую доступную страницу для полной индексации.

Однако ситуация изменилась, когда сайты начали читать не только поисковые роботы, но и языковые модели. Для них существующие стандарты не подходят: sitemap избыточен и ресурсоёмок, а HTML-код создаёт слишком много шума.

Понадобился новый способ доставки актуального, очищенного контекста в сжатом виде специально для AI-агентов и языковых моделей.

В сентябре 2024 года Джереми Ховард (создатель fast.ai ^[1]) предложил ^[2] решение в виде стандарта /llms.txt. Давайте разберемся, как он работает, чем отличается от llms-full.txt, какую пользу могут извлечь разработчики и как быстро добавить его поддержку в свой проект.

Проблема: HTML нужен только людям

Когда вы просите ChatGPT, Gemini, Perplexity или Cursor прочитать документацию библиотеки, чтобы написать код, модель сталкивается с несколькими проблемами:

Технические барьеры и глубина: LLM – не поисковые роботы. В чат-интерфейсах модели часто “ленятся” или технически не могут переходить по десяткам ссылок. Если вы дадите ссылку на корень документации, модель часто прочитает только эту страницу. Кроме того, многие сайты построены как SPA-приложения и требуют выполнения JavaScript, с чем встроенные браузеры LLM нередко не справляются, видя лишь пустой <div id="root"></div>
Грязные данные: Современные сайты – это смесь HTML, CSS, JavaScript, рекламных блоков и навигации, которые бесполезно расходуют токены. Даже у моделей с контекстом в миллион токенов есть предел “внимания”. Скармливать им весь сайт целиком – это дорого и снижает качество ответов.
Отсутствие приоритетов: sitemap.xml содержит ссылки на всё подряд. LLM не знает, какие страницы важны, а какие второстепенны, устарели или носят юридический характер.

Решение: стандарт /llms.txt

Идея состоит из трех компонентов, которые превращают ваш сайт, документацию или библиотеку в AI-friendly ресурс.

1. Markdown-зеркала страниц

Первая часть предложения – создавать “чистые” версии страниц. Если у вас есть страница документации docs/api.html, по тому же адресу (или с суффиксом .md) должен быть доступен файл с чистым содержимым в Markdown-формате, например:

docs/api.html.md
docs/api.md

2. Индексный файл /llms.txt

Это Markdown-файл в корне сайта, выполняющий роль карты. Он предоставляет краткое описание проекта и список ссылок на подготовленные .md-файлы, а также их краткие аннотации. Благодаря этому модель быстро понимает структуру проекта и знает, где искать детали.

3. Файл полного контекста /llms-full.txt

(В спецификации FastHTML он также называется llms-ctx-full.txt, но такую вариацию почти никто не использует).

Этот файл формируется автоматически. Специальный скрипт парсит ваш llms.txt, проходит по всем ссылкам, скачивает содержимое зеркал и склеивает их в один большой текстовый файл.

Зачем это нужно?

Этот файл собирает весь контекст проекта в единый документ. Это позволяет передать агенту или модели 100% актуальных знаний о библиотеке одним запросом, исключая риск ошибок навигации, потери информации или галлюцинаций.

Структура файла llms.txt

Хотя Markdown понятен нейросетям и без строгой схемы, спецификация требует соблюдения определенного порядка секций. Это нужно, чтобы классические инструменты (парсеры, CLI-утилиты) могли автоматически собирать контекст.

Порядок элементов следующий:

Заголовок H1: название проекта или сайта (обязательный элемент).
Цитата (Blockquote): Краткое саммари проекта. Самая важная информация.
Описание (Markdown): Произвольный текст с деталями, инструкциями или подсказками для модели.
Секции ссылок (Заголовки H2, H3 и т.д.): тематические разделы с перечислением ссылок.
- Внутри списки вида: [Название](ссылка): Краткое описание
- ссылки должны вести на Markdown-файлы, а не HTML
Секция “Optional” (H2): ссылки на второстепенные материалы. Они игнорируются при сборке сжатого контекста, но попадают в полную версию.

Укороченный пример файла:

# FastHTML

> FastHTML is a Python library that brings together Starlette, Uvicorn, and HTMX for creating server-rendered hypermedia applications.

Things to remember:
- Although its API is inspired by FastAPI, it is not compatible with its syntax.
- It is compatible with vanilla JS, but not with React, Vue, or Svelte.

## Docs

- [FastHTML concise guide](https://www.fastht.ml/docs/ref/concise_guide.html.md): A brief overview of idiomatic FastHTML apps
  
## API

- [API List](https://www.fastht.ml/docs/apilist.txt): A succint list of all functions and methods in fasthtml.

## Optional

- [FAQ](https://www.fastht.ml/docs/explains/faq.html.md): Answers to common questions about FastHTML.

(Оригинал файла можно посмотреть здесь ^[3])

Как внедрить (плагины и инструменты)

Поддерживать два набора документации (HTML и Markdown) вручную не вариант. Несмотря на молодость стандарта, для большинства популярных CMS и генераторов уже есть готовые решения.

GitBook: Полностью встроенная поддержка.
nbdev: Инструмент от fast.ai ^[1] генерирует по умолчанию.

Python экосистема:

MkDocs: плагин mkdocs-llmstxt ^[4]
Sphinx: sphinx-llms-txt ^[5]

JavaScript / Node.js

Docusaurus: Плагин docusaurus-plugin-llms ^[6]
VitePress: Плагин vitepress-plugin-llms ^[7]
Gatsby: Плагин gatsby-plugin-llms-txt ^[8]
Eleventy (11ty): Плагин eleventy-plugin-llms ^[9]
Astro: Плагин astro-llms-txt ^[10]

CMS

WordPress: Плагины odyssey-llms ^[11] и llms-full-txt-generator ^[12]
Drupal: модуль llms_txt ^[13]

Похожие инструменты можно найти по запросам в поисковиках и на github:
[ваш_фреймворк] llms.txt или llms.txt generator.

Кто уже использует

Хотя llms.txt это инициатива сообщества, а не утвержденный W3C или IETF стандарт, индустрия де-факто приняла его. Несмотря на отсутствие формальной спецификации, он уже применяется в продакшене крупнейших компаний.

Среди внедривших:

Amazon AWS: llms.txt ^[14] | llms-full.txt ^[15]
X (Twitter): llms.txt ^[16] | llms-full.txt ^[17]
Stripe: llms.txt ^[18]
Docker: llms.txt ^[19]
Cloudflare: llms.txt ^[20] | llms-full.txt ^[21]
Redis: llms.txt ^[22] | llms-full.txt ^[23]
Vue.js: llms.txt ^[24] | llms-full.txt ^[25]
Svelte: llms.txt ^[26] | llms-full.txt ^[27]
Angular: llms.txt ^[28]
VitePress: llms.txt ^[29] | llms-full.txt ^[30]
Claude: llms.txt ^[31] | llms-full.txt ^[32]
Anthropic (MCP): llms.txt ^[33] | llms-full.txt ^[34]
Perplexity: llms.txt ^[35] | llms-full.txt ^[36]
Cursor: llms.txt ^[37] | llms-full.txt ^[38]
ElevenLabs: llms.txt ^[39] | llms-full.txt ^[40]

Интерес ^[41] со стороны разработчиков подтверждает и статистика GitHub. Количество файлов llms.txt в репозиториях исчисляется тысячами.

Что такое LLMs.txt и LLMs-full.txt и как заставить AI знать документацию наизусть - 1

Динамика популярности плагинов для генерации тоже показательна. Вот, например, как рос интерес к некоторым плагинам в этом году:

Что такое LLMs.txt и LLMs-full.txt и как заставить AI знать документацию наизусть - 2

Лайфхак для разработчиков

Пользу от стандарта можете извлечь и вы. Попробуйте при изучении документации новой библиотеки допишите к корню сайта /llms-full.txt. Если разработчики внедрили этот стандарт, вы мгновенно получите весь необходимый контекст в одном файле, очищенном от визуального шума.

Загрузив этот файл в LLM с большим контекстным окном, например Gemini 3 вы решаете проблему устаревших знаний и галлюцинаций: модель перестает выдумывать несуществующие методы из версий двухлетней давности и начинает отвечать строго по свежей документации.

Так вы получаете точные ответы на вопросы и возможность комфортного вайбкодинга с актуальным стеком без необходимости вручную копировать десятки страниц или настраивать сложные парсеры.

Заключение

Разработчики всё чаще ищут ответы не в Google, а в диалогах с Cursor, Claude, ChatGPT или Perplexity. Это меняет саму природу SEO: битва за трафик смещается из поисковой выдачи в окно чат-бота.

Внедрение llms.txt это инвестиция сразу в два направления. Во-первых, вы повышаете “AI-видимость” вашего проекта: чистые Markdown-зеркала позволяют моделям давать точные ответы по вашей документации, избегая галлюцинаций. Во-вторых, это стратегическая ставка: логично ^[42] предположить, что при обучении ^[43] будущих версий моделей крупные игроки будут отдавать приоритет именно таким структурированным, очищенным от шума источникам, предпочитая их сырому HTML.

Вывод прост: если ваша документация плохо читается нейросетями, она фактически перестаёт существовать для огромной части аудитории. Добавление двух текстовых файлов в корень сайта – это простое но важное улучшение, которое готовит ваш проект к будущему, где веб читают не только люди, но и агенты.

Полезные ссылки:

llmstxt.org ^[44] – Официальная страница стандарта
llmstxt.site ^[45] – Каталог сайтов, которые уже внедрили стандарт.
directory.llmstxt.cloud ^[46] – Еще один каталог сайтов внедривших стандарт

Автор: Runnin

Источник ^[47]

Сайт-источник BrainTools: https://www.braintools.ru

Путь до страницы источника: https://www.braintools.ru/article/22950

URLs in this post:

[1] fast.ai: http://fast.ai

[2] предложил: https://llmstxt.org/

[3] здесь: https://www.fastht.ml/docs/llms.txt

[4] mkdocs-llmstxt: https://github.com/pawamoy/mkdocs-llmstxt

[5] sphinx-llms-txt: https://github.com/jdillard/sphinx-llms-txt

[6] docusaurus-plugin-llms: https://github.com/rachfop/docusaurus-plugin-llms

[7] vitepress-plugin-llms: https://github.com/okineadev/vitepress-plugin-llms

[8] gatsby-plugin-llms-txt: https://github.com/edwardoverthere/gatsby-plugin-llms-txt

[9] eleventy-plugin-llms: https://github.com/CleverCloud/eleventy-plugin-llms-txt

[10] astro-llms-txt: https://github.com/4hse/astro-llms-txt

[11] odyssey-llms: https://wordpress.org/plugins/odyssey-llms/

[12] llms-full-txt-generator: https://ru.wordpress.org/plugins/llms-full-txt-generator/

[13] llms_txt: https://www.drupal.org/project/llms_txt

[14] llms.txt: https://docs.aws.amazon.com/llms.txt

[15] llms-full.txt: https://docs.aws.amazon.com/llms-full.txt

[16] llms.txt: https://docs.x.com/llms.txt

[17] llms-full.txt: https://docs.x.com/llms-full.txt

[18] llms.txt: https://stripe.com/llms.txt

[19] llms.txt: https://docs.docker.com/llms.txt

[20] llms.txt: https://developers.cloudflare.com/llms.txt

[21] llms-full.txt: https://developers.cloudflare.com/llms-full.txt

[22] llms.txt: https://redis.io/llms.txt

[23] llms-full.txt: https://redis.io/llms-full.txt

[24] llms.txt: https://vuejs.org/llms.txt

[25] llms-full.txt: https://vuejs.org/llms-full.txt

[26] llms.txt: https://svelte.dev/llms.txt

[27] llms-full.txt: https://svelte.dev/llms-full.txt

[28] llms.txt: https://angular.dev/llms.txt

[29] llms.txt: https://vitepress.dev/llms.txt

[30] llms-full.txt: https://vitepress.dev/llms-full.txt

[31] llms.txt: https://docs.claude.com/llms.txt

[32] llms-full.txt: https://docs.claude.com/llms-full.txt

[33] llms.txt: https://modelcontextprotocol.io/llms.txt

[34] llms-full.txt: https://modelcontextprotocol.io/llms-full.txt

[35] llms.txt: https://docs.perplexity.ai/llms.txt

[36] llms-full.txt: https://docs.perplexity.ai/llms-full.txt

[37] llms.txt: https://docs.cursor.com/llms.txt

[38] llms-full.txt: https://docs.cursor.com/llms-full.txt

[39] llms.txt: https://elevenlabs.io/docs/llms.txt

[40] llms-full.txt: https://elevenlabs.io/docs/llms-full.txt

[41] Интерес: http://www.braintools.ru/article/4220

[42] логично: http://www.braintools.ru/article/7640

[43] обучении: http://www.braintools.ru/article/5125

[44] llmstxt.org: http://llmstxt.org

[45] llmstxt.site: http://llmstxt.site

[46] directory.llmstxt.cloud: https://directory.llmstxt.cloud/

[47] Источник: https://habr.com/ru/articles/974882/?utm_source=habrahabr&utm_medium=rss&utm_campaign=974882

Нажмите здесь для печати.