Продавцы воздуха: как вернуть человечеству доступ к собственным знаниям

Почему самый мощный инструмент для систематизации знаний, который мы когда-либо создавали, используют, чтобы отгородить людей от знаний, и каким могло бы быть более разумное разделение труда между людьми и моделями.

В романе Александра Беляева «Продавец воздуха» (1929) делец Бэйли выкачивает атмосферу планеты и продаёт людям воздух в баллонах. Сегодня тоже история повторяется со знаниями: то, что принадлежало всем, становится товаром.

Главная задача человечества не меняется тысячи лет: добывать знание о мире через опыт ^[1] и эксперимент, закреплять его и передавать следующим поколениям. Ради этого мы изобрели письменность, книги, библиотеки, университеты, интернет.

Сегодня мы оказались в парадоксе ^[2]. Никогда ещё человечество не накапливало столько знаний, и редко доступ к ним был так затруднён. Между людьми и знанием выросли две стены.

Первая стена — платность и закрытость. Знание, созданное миллионами людей и выложенное в открытый доступ, превратилось в товар. Поиск всё больше служит рекламе, а не вопросу. Тексты открытого интернета стали сырьём для моделей, результат которых продаётся нам по подписке.

Вторая стена — несистематизированность. Мы накопили больше, чем способны прочитать. Миллионы книг и миллиарды страниц лежат на полках и в цифровых архивах, и мы сами уже не помним, что в них есть. Знание, которое никто не может найти, ничем не отличается от утраченного.

Языковые модели — первый в истории инструмент, способный разрушить обе стены: прочитать всё накопленное, систематизировать и вернуть знания людям. Но сегодня мы используем его так, что стены становятся только выше.

Часть I. Что дала нам технология.

1. Машина, которая научилась измерять смысл.

Алфавит — одно из величайших изобретений человечества: несколько десятков букв дают миллионы слов. Но написание фиксирует, как слово выглядит, а не что оно значит. Одно слово живёт в разных смыслах: «ключ» от двери, «ключ» к задаче. Разные слова означают почти одно и то же: «большой», «огромный», «колоссальный». А формы одного слова — «читать», «читал», «перечитывая» — для поиска по буквам выглядят как разные слова.

Пока текстов было столько, сколько человек способен прочитать, смысл восстанавливал сам читатель. Когда поток текстов вырос на порядки, инструменты, работающие с буквами, а не со смыслом, перестали справляться.

Инженеры нашли третий путь, между буквой и словом. Буква слишком мелкая: сама по себе она не несёт смысла. Слово слишком крупное: у каждой его формы своё написание, и общий смысл теряется. Поэтому текст делят на токены — устойчивые сочетания букв, меньше слова, но больше буквы.

Набор токенов составляют до обучения ^[3] модели, отдельной программой — токенизатором. Она просматривает огромный массив текстов, перебирает кандидатов — всевозможные сочетания букв — и статистически отбирает те, что встречаются устойчивее всего и чаще всего помогают собирать слова. Размер словаря — инженерный компромисс. Побуквенный словарь превращает каждое слово в длинную цепочку и умножает вычисления. Пословный даёт миллионы несвязанных записей, и новое слово модель просто не узнаёт. Словарь современной модели — это десятки и сотни тысяч токенов. Для нашего переводчика кабардинского языка, где одно слово может вмещать целую фразу, оптимальным оказался словарь в 32 000 токенов при нескольких десятках букв алфавита.

Токенизатор ничего не знает о корнях, приставках и окончаниях. Это человеческие категории, придуманные, чтобы объяснять язык друг другу, а не чтобы описывать его экономно. И всё же статистика часто приходит почти туда же: самые устойчивые фрагменты нередко совпадают с частями слова. Почти, но не совсем.

Многие не знают, что модель размещает в многомерном пространстве не слова, а токены. Каждый фрагмент получает координаты — вектор из сотен или тысяч чисел. Обучаясь угадывать следующий фрагмент в миллиардах человеческих предложений, модель с каждой ошибкой ^[4] чуть сдвигает эти координаты, пока близкие по смыслу токены не окажутся рядом, а различные — далеко друг от друга. Грамматике модель никто не учил, но исследователи находят в её векторах и части речи, и время, и число. А положение слова зависит от контекста: «ключ» в предложении про замок и «ключ» в предложении про родник получают разные координаты. Многозначность, которую алфавит не мог разрешить в принципе, модель разрешает в каждом конкретном предложении.

2. Что это даёт: поиск и отбор по смыслу.

Классический поиск находит совпадение букв. Он не знает, что «врач» и «доктор» — одно и то же, а «банк» реки и «банк» с деньгами — разное. Векторное пространство измеряет расстояние между смыслами: запрос и найденный фрагмент могут не иметь ни одного общего слова, но говорить об одном. По тому же принципу можно определить, какие предложения ближе всего к сути абзаца, главы и всей книги.

На мой взгляд, именно здесь главная сила моделей: не столько в «мышлении», сколько в поиске и отборе, в умении за доли секунды извлечь из огромного массива текстов именно то, что по смыслу относится к запросу. Дайте человеку такой же мгновенный доступ к нужным фрагментам тысяч книг, и во многих задачах его выводы будут не хуже, чем у больших моделей. Разрыв между человеком и машиной во многом создан не разницей интеллекта ^[5], а разницей в объеме и скорости доступа к контексту.

У нас появился инструмент, способный разрушить обе стены. Вопрос в том, как мы его используем.

Часть II. Почему мы движемся не туда.

3. Первая стена растёт: огораживание знаний.

В Англии XVI–XIX веков общинные земли, где каждый мог пасти скот, обносили заборами и превращали в частную собственность. Юрист Джеймс Бойл ещё в 2003 году назвал происходящее с информацией «вторым огораживанием». С приходом больших моделей оно ускорилось.

• Поиск перестал искать. Долгие годы поисковики вели нас к самым надёжным источникам. Сегодня первые экраны выдачи занимают реклама, спонсорские ссылки и материалы, оптимизированные под алгоритм, а не под читателя.

• Общее достояние стало сырьём. Модели обучены на открытом вебе — статьях, книгах, коде, научных работах миллионов людей, — как правило, без спроса и без компенсации. Правовую сторону сейчас решают суды: в 2025 году Anthropic согласилась выплатить авторам $1,5 млрд по иску Bartz v. Anthropic.

• Результат обучения закрыт. Логично ^[6] было бы ожидать, что модель, обученная на общем достоянии, останется его частью. Вышло наоборот: обучающие выборки и веса ведущих моделей закрыты, а знание, синтезированное из наших же текстов, продаётся нам обратно.

• Источники закрываются в ответ. По данным исследования Consent in Crisis (Data Provenance Initiative, 2024), значительная часть ключевых веб-ресурсов запретила сбор данных для ИИ. Открытый веб сжимается.

Итог – формируются два уровня доступа к знаниям. У машины есть весь корпус текстов человечества, у человека – рекламная выдача и платный посредник. Мы сравниваем их и делаем вывод, что машина «умнее». Но это нечестное соревнование: один участник видит всю библиотеку, другой – витрину. Человеческое мышление ^[7] обесценивают не потому, что оно хуже, а потому, что его отрезали от источников.

4. Вторая стена стоит: знание остаётся не систематизированным.

Модели действительно читают всё. Но то, как мы ими пользуемся, не систематизирует знание, а растворяет его.

Знание растворено в весах. Модель не хранит книги — она сжимает их в миллиарды параметров, как студент-зубрила, который помнит закономерности, но не страницы. Отвечая «из памяти», она не может объяснить, откуда взялась именно эта последовательность слов. Ни страницы, ни автора, ни цитаты, которую можно проверить.

Понимание выбрасывается.Логику процесса я разбирал в своих предыдущих статьях: модель читает книгу, строит богатое внутреннее представление о ней, отвечает на один вопрос по книге и выбрасывает все веса по окончании сессии. Следующий пользователь и следующая модель начинают работу с нуля. Большая часть энергии, потраченной на понимание длинных документов, уходит на повторение ^[8] уже сделанной работы, новый расчет весов для новой сессии.

Хранилища раздроблены. Ответ индустрии — поиск по векторным базам данных — порождает новую проблему. Вектор — это координаты в пространстве одной конкретной модели. Векторы разных моделей несовместимы: сменил модель — пересчитывай индекс. Даже простой индекс с одним вектором на предложение занимает в десятки раз больше места, чем сам текст. А тысяча чисел ничего не скажет человеку.

В итоге вместо общей систематизированной библиотеки возникают тысячи раздробленных хранилищ, разбитых по пространствам разных моделей и запертых внутри разных продуктов. Каждая компания заново переводит одни и те же книги в свои векторы, никто не может воспользоваться чужой работой, а человеку всё это недоступно вовсе. Инструмент, способный разрушить вторую стену, сегодня надстраивает первую.

Часть III. Риски: две деградации.

5. Люди деградируют от суперделегирования, модели — от суперсинтетизации

Если модель всегда готова ответить, исчезает стимул ^[9] разбираться самому: искать причинно-следственные связи, сравнивать источники, структурировать информацию. Первые исследования MIT Media Lab и Microsoft Research (2025) уже фиксируют снижение вовлечённости и критического мышления у тех, кто перекладывает интеллектуальную работу на ИИ. Данных пока мало, но тенденция тревожная. Опасность не в том, что модель помогает, а в том, что она заменяет.

Вторая деградация менее очевидна. Модели могут извлекать статистику только из человеческих знаний. Если люди перестанут создавать новые тексты, а интернет заполнится сгенерированными, следующие модели будут учиться на выводах предыдущих. Шумайлов и соавторы показали это экспериментально в журнале Nature (2024): модели, обученные на данных других моделей, от поколения к поколению теряли редкое и необычное и сходились к усреднённому, обеднённому языку. Авторы назвали это «коллапсом моделей».

Я сам много раз видел, с каким удовольствием модель дрейфует к среднему, когда у неё мало примеров. Редкие языки, нестандартные формулировки, необычные мысли первыми растворяются в усреднении.

Две проблемы питают друг друга. Люди, переложившие мышление на модели, перестают создавать новое знание, а модели без нового человеческого знания вырождаются. Под угрозой оказывается сама главная задача — добывать и передавать знание.

6. Почему я не верю в сверхразум

Я сторонник идеи усиления человеческих возможностей моделями, а не создания «сверхразума», который якобы превзойдёт нас во всём.

Модели учатся, копируя образец. Чтобы создать сверхразум, нужен образец сверхразума, а его нет. Сторонники сверхразума возразят: AlphaZero превзошла чемпионов мира в шахматах и го, играя сама с собой. Но у игры есть чёткие правила и безошибочный судья — победа или поражение. В знании о мире такого судьи нет. Истинность вывода проверяет реальность: эксперимент, опыт, люди, отвечающие за решения.

Поэтому сверхразум, на мой взгляд, утопия. Но утопия опасная: в погоне за ней мы можем опрометчиво отдать моделям то, что делает нас создателями знания, и тем самым остановить его производство. А вместе с ним и развитие самих моделей, которые от него зависят.

Часть IV. Путь с устойчивому будущему.

7. Разметить один раз — и сделать доступным всем.

Миллиарды параметров нужны модели, чтобы научиться понимать язык. Чтобы пользоваться этим пониманием, они не нужны каждый раз.

Понимание большой модели можно один раз «снять» с книги и сохранить вместе с ней в простой, открытой и понятной человеку форме: книга, разделённая на смысловые блоки (сцены в художественной литературе, понятийные разделы в научной); веса каждого слова, предложения, абзаца и главы — насколько каждый важен для передачи смысла целого; ключевые предложения каждого блока; группы слов, близких по смыслу в контексте именно этой книги. Как такая таблица строится и проверяется, я подробно разбирал в другой статье и повторять здесь не буду. Добавлю одно: если разметить книгу несколькими независимыми моделями и усреднить их оценки, случайные отклонения каждой модели в значительной мере гасятся.

Результат — не миллиарды непрозрачных параметров и не тысячи чисел на предложение, а размеченный текст с таблицами смыслов: компактный, проверяемый, привязанный к конкретным страницам и не зависящий от какой-либо одной модели. Тяжёлые вычисления — один раз на книгу. Использование почти ничего не стоит и работает на любом устройстве, локально и приватно.

Представьте книгу, как Землю из космоса. С орбиты видны только континенты — главная мысль. При приближении проступают города — главы и сцены. Ещё ближе — улицы и дома, отдельные абзацы и фразы. Одним движением ползунка читатель сжимает книгу до страницы основного содержания или раскрывает до полного текста. Это не пересказ, придуманный моделью, а фильтрация самого текста по весам: каждое слово в сжатой версии текста принадлежит автору.

Так рушатся обе стены сразу: знание становится систематизированным и остаётся открытым. Если книга сжимается в десятки и сотни раз без потери главного смысла, человек может работать не с тремя книгами по теме, а с тремястами. Разрыв в доступе к контексту, который сегодня делает машину «умнее», начинает закрываться.

Модели тоже выигрывают. При повторном обращении модель получает не всю книгу, а несколько точно отобранных фрагментов: данных на порядок меньше, ответ быстрее и дешевле. Маленькая модель на телефоне, опираясь на таблицы, полученные от больших моделей, отвечает по книге на уровне, близком к большой. А любая модель может опереться на тысячи размеченных книг и процитировать их, вместо того чтобы выдавать фразы из памяти ^[10], происхождение которых невозможно восстановить.

8. Нужен открытый стандарт таблиц смыслов.

Ключевой вопрос не технический, а организационный: как создать универсальный открытый стандарт таблиц смыслов книг, в который любая модель могла бы экспортировать свой анализ для использования и людьми, и другими моделями?

Такой стандарт должен быть:

• независимым от модели: хранить не координаты в чьём-то частном пространстве, а веса слов, структуру, ключевые предложения и связи, привязанные к самому тексту;

• понятным человеку: любой может открыть таблицу и увидеть, почему этот абзац считается важным;

• накопительным: разметка новой моделью уточняет прежнюю, а не начинается с нуля;

• открытым: размеченная книга так же доступна, как и сама книга.

Печатная книга, библиотечный каталог, веб-страница — каждый такой стандарт превращал разрозненные знания в общую инфраструктуру. Размеченная книга может стать следующим: однажды проанализированное знание перестанет сгорать в сессиях и запираться в закрытых хранилищах.

9. Правильное разделение труда.

Устойчив только один вариант: каждый делает то, что умеет лучше.

Модели берут на себя гигантский объём рутинной работы, которую люди не смогли бы сделать за столетия: прочитать всё накопленное, разметить, взвесить, связать. Результатом становится новое поколение открытых библиотек — книг, которые сами себя объясняют, сжимаются и раскрываются по запросу. Человек получает такой же быстрый доступ к знаниям, как и машина: не пересказ из чёрного ящика, а прямой доступ к первоисточнику с ключевыми местами, связями и цитатами. И делает то, чего модель не может: ставит эксперименты, проверяет идеи реальностью, принимает решения, отвечает за них и создаёт новое знание.

Такой круг устойчив. Люди создают знание, модели его систематизируют, люди быстрее находят нужное и создают новое, модели получают свежий человеческий материал. Каждый усиливает другого, а не замещает его. Люди не деградируют от суперделегирования, модели — от суперсинтетизации.

Заключение: зачем нам всё это.

Каждое поколение наследует больше, чем способно прочитать. Отчёты экспедиций, забытые монографии, полевые записи, дневники, переводы, тексты на редких языках ждут на полках и в архивах, и большинство из них никто никогда не откроет. Не потому что они бесполезны, а потому что ни у кого нет времени узнать, что там внутри.

Именно здесь языковые модели могут сделать то, что не под силу ни одному поколению людей: прочитать всё, что мы собрали, разметить и показать, что содержится в каждом тексте и насколько это важно для нашего понимания мира. То, на что людям понадобились бы столетия, можно сделать за годы. В этом, на мой взгляд, их настоящее предназначение: не думать вместо нас, а вернуть нам наше собственное знание — систематизированным и проверяемым.

Дорога, по которой мы идём сегодня, ведёт в другую сторону: к платному доступу, закрытым индексам и ответам без источников и без возможности их оценки. Чтобы сменить направление, не нужен прорыв. Нужно решение один раз записать понимание текста в открытой форме и делиться им так, как мы всегда делились книгами.

Модели не могут открыть, как устроен мир. Они могут помочь нам сохранить уже открытое и быстрее в нём ориентироваться. Открывать остальное по-прежнему будем мы.

Не сверхразум, который заменит нас, а инструмент, который разрушит обе стены и вернёт людям доступ ко всему, что человечество уже узнало.

P.S. Сам я пробую этот путь на практике в SayFable — офлайн-библиотеке для iPhone и Mac ^[11]. Скажу честно: мы в самом начале. Пока мы размечаем большими моделями художественные книги из общественного достояния: делим главы на сцены, отмечаем ключевые абзацы, кто говорит и о чём каждый эпизод. Первые три десятка таких книг уже опубликованы открыто. Следующий шаг — пересчитать моделями веса слов и ключевые предложения, чтобы маленькая модель на телефоне могла опираться на эту разметку. До универсального стандарта таблиц смыслов нам ещё далеко.

Недавно один читатель написал мне, что хотелось бы иметь локально (на своём пк) чтобы подпихнув ей свою (оффлайн) коллекцию книг (думаю у многих такие коллекции насоветованного да и просто сохранённого есть) получить в итоге максимально широкую статистику для последующего выбора, что бы из неё почитать на ту или иную тему ^[12]. По-моему, это лучше любой теории показывает, что должны делать модели. Не читать за нас и не думать вместо нас, а помочь человеку за минуты увидеть статистику каждой из ста книг — и выбрать для чтения ту, которая ему лучше подходит.

Если это направление вам близко, особенно если вы работаете с цифровыми библиотеками, локальным ИИ или представлением знаний, буду рад услышать ваше мнение в комментариях.