LLM изменят структуру документации и потребление контента в интернете

Андрей Карпати, бывший сотрудник OpenAI, размышляет о будущем, в котором LLM станут основным интерфейсом для контента.

В посте на X ^[1] он предполагает, что, хотя большая часть контента по-прежнему будет создаваться для людей, 99,9% усилий по оптимизации будут направлены на то, чтобы сделать его понятным для LLM. Этот сдвиг может кардинально изменить структуру документации.

Карпати приводит в пример текущую практику документирования: «В 99% библиотек по-прежнему есть документация, которая в основном представляет собой красивые статичные страницы в формате .html, рассчитанные на использование человеком». Он утверждает, что к 2025 году документация должна существовать в виде единого файла проекта, оптимизированного для контекстного окна LLM.

Карпати отмечает, ^[2] что, хотя объединение кодовых баз в отдельные файлы технически несложно, настоящая проблема заключается в контенте, хранящемся в ориентированных на человека форматах — веб-сайтах, PDF-файлах, изображениях, видео- и аудиофайлах.

Эти форматы «до эры LLM» затрудняют оптимизацию ИИ. По словам Карпати, отрасли нужны новые стандарты, которые одинаково хорошо подходят как для людей, так и для машин.

Новый предлагаемый веб-стандарт под названием «llms.txt» ^[3] соответствует видению Карпати структуры контента, оптимизированной для ИИ. Разработанная Джереми Ховардом спецификация работает аналогично index.html, но для систем ИИ. В то время как index.html направляет пользователей на HTML-версию страницы, llms.txt направляет системы ИИ на машиночитаемую версию Markdown (.md).

Такой двойной подход позволяет веб-сайтам поддерживать как удобочитаемые, так и оптимизированные для ИИ версии своего контента. Такие компании, как Anthropic, уже внедрили этот стандарт.

Последствия выходят далеко за рамки технических изменений. Современная экономика цифрового контента основана на человеческом внимании — через рекламу и подписки. Теперь перед отраслью стоит задача полностью переосмыслить свои цепочки создания ценности и модели получения прибыли, поскольку контент переходит в сферу потребления ИИ. ^[4]

Компании, занимающиеся искусственным интеллектом, начали лицензировать новостные ленты в реальном времени ^[5], и это тоже вызывает серьёзные вопросы. Когда такие компании, как OpenAI, получают возможность решать, какой контент видят их системы искусственного интеллекта ^[6], они, по сути, становятся могущественными хранителями информации.

Этот сдвиг угрожает изменить потребление онлайн-контента ^[4], поднимая серьёзные вопросы о том, кто контролирует наш доступ к информации. Ставки ещё выше, учитывая, что ИИ всё ещё часто допускает ошибки при обработке и воспроизведении информации ^[7].

Источник ^[8]