ИИ заберёт тексты и код. Но это никогда не было главной работой человека. Часть 2

Всем привет! Я — философ науки и техники и технический писатель. Последние пару лет мою профессию регулярно «хоронят». Большие языковые модели всё лучше пишут документацию, а если вы работаете с текстами, кодом или другим цифровым контентом, то наверняка и сами уже заметили, как меняется привычный процесс работы. Кажется, что ИИ научился делать всё больше задач, которые раньше выполнял человек. Но производство текста, кода и другого контента лишь верхушка айсберга любой IT-профессии. В первой части ^[1] мы разбирали, как менялись задачи и роли специалистов и почему развитие самого ИИ тоже идёт циклами, теперь поговорим про ограничения ИИ и почему технически корректное решение может не решить исходную бизнес-задачу.

Часть 2. Где заканчиваются возможности ИИ и начинается человек

В чём ограничение ИИ

Большие языковые модели работают как система расширенной силлогической логики. Они оперируют заданными предпосылками и строят наиболее вероятные продолжения внутри этого пространства. 

Силлогизм — это дедуктивная структура вида:

 «все люди смертны — Сократ ^[2] человек — следовательно, Сократ смертен».

У ИИ то же самое. Вывод строго следует из условий, но почти всегда остаётся внутри заданных предпосылок. Он хорошо продолжает цепочку, но не определяет, какие цепочки вообще важны и зачем они нужны.

Пределы формального вывода

ИИ не придумывает ответ с нуля: он опирается на огромный корпус текстов и учится продолжать их наиболее вероятным образом. Для этого он использует статистические закономерности:

• есть корпус человеческих текстов;

• в нём выявляются устойчивые зависимости между словами и контекстами;

• на их основе модель выдаёт наиболее вероятное продолжение запроса.

Поэтому ИИ может генерировать тексты, изображения или код, но делает это из уже существующих паттернов.

Гёделевский аргумент

Идею ограниченности формальных систем хорошо формулирует теорема Курта Гёделя.

Гёдель показал, что в любой достаточно мощной и непротиворечивой формальной системе существуют истинные утверждения, которые невозможно ни доказать, ни опровергнуть средствами самой системы.

Проще говоря, в такой системе всегда остаются утверждения, которые истинны, но недостижимы через её собственные правила вывода. Любая формальная система оказывается неполной относительно самой себя.

На этой идее философы, включая Джона Лукаса и Роджера Пенроуза, построили так называемый гёделевский аргумент. Его суть в следующем: 

если рассматривать ИИ как формальную систему, то есть как алгоритм, который порождает выводы по заданным правилам, то он неизбежно наследует ограничения таких систем. А значит, он не может выйти за пределы собственной логики, чтобы увидеть истинность утверждений, которые не выводятся внутри него.

Языковые модели действительно близки к формальным системам. Они:

• работают внутри заранее заданного пространства предпосылок (обучающих данных);

• не имеют доступа к внешним основаниям смысла, которые могли бы играть роль новых аксиом;

• поэтому остаются в рамках вероятностного продолжения уже существующего знания.

Однако у LLM есть и более практическое ограничение. Они не просто сталкиваются с тем, что некоторые истины недоказуемы внутри системы, у них в принципе нет встроенного понятия истины как строгого логического критерия. Их критерий — это языковая согласованность и статистическая правдоподобность, а не доказуемость или соответствие внешней реальности.

Гёделевский аргумент дополняют концепции других философов.

Чем отличается человек

Что интересно, человек работает с тем же исходным материалом, что и ИИ. Мы тоже опираемся на уже увиденное, услышанное и прочитанное, в этом смысле источник данных у нас общий.

Но разница не в материале, а в способе работы с ним: человек не обязан следовать наиболее вероятной траектории продолжения. Он способен делать неожиданные, маловероятные выборы, разрывы с очевидной логикой ^[3] продолжения. Именно так часто и возникают новые смыслы и направления.

Есть даже полушутливая формулировка: в мире победившего ИИ людям якобы придётся искать партнёров с максимально нестандартными ассоциативными связями в мышлении ^[4], чтобы передать эти гены детям и конкурировать с алгоритмами.

Также человек работает со всем тем, что не помещается внутри замкнутой системы ИИ:

• с истиной, которая не сводится к выводу,

• со смыслом, который возникает в реальности и употреблении,

• с пониманием, а не только с символами,

• с проживанием опыта ^[5] во времени.

Всё это вместе и задаёт человеческий способ мышления.

И тогда проблема ИИ формулируется шире: дело не только в том, что система не может вывести некоторые истины, как показывает Гёдель. Проблема в том, что у неё нет такой связи с миром, в которой вообще формируются понятия истины и смысла.

Но в инженерной практике вопрос обычно стоит иначе. Нас редко интересует, «понимает» ли система в философском смысле. Нас интересует другое: устойчиво ли она ведёт себя в среде, где данные, контекст и цели постоянно меняются.

И тогда фокус смещается от вопроса понимания к вопросу поведения ^[6] в реальности. Именно на этом стыке философия перестаёт быть абстрактной и превращается в практический вопрос архитектуры систем и человеческих навыков работы с ними.

Как это выглядит в контексте практики в IT

Если перевести это в прикладной слой, ключевой вопрос звучит так:
важно ли в реальной инженерной и продуктовой работе то, что существуют истинные, но недоказуемые внутри системы утверждения? 

Нет, в IT мы крайне редко доказываем истину в замкнутой системе. Мы работаем с другим — с балансом интересов и требований, словно Тирион из Игры престолов! 

В теореме Гёделя есть важная идея: система почти никогда не бывает полностью замкнутой и завершённой.

В инженерной и особенно IT-реальности это становится не абстракцией, а нормальным состоянием. Мы почти никогда не работаем с полной задачей: требования неполные, контекст меняется, границы системы размыты, а часть знаний всегда находится вне документации.

Поэтому работа на практике выглядит не как выполнение заданной задачи, а как постоянное прояснение и переопределение самой задачи: договориться о её смысле, разрулить противоречия между участниками системы и выбрать, какие предпосылки считать истинными. И только после этого вообще становится возможным говорить о реализации.

От философии систем к экономике навыков

Если посмотреть на рынок труда сегодня, складывается довольно парадоксальная картина. С одной стороны, компании всё чаще ищут специалистов «3 в 1»: 

разработчик должен понимать бизнес, аналитик — архитектуру, техписатель — тестирование, а менеджер — данные и продуктовую аналитику. 

С другой стороны, именно на уровне такой универсальности современные ИИ-системы начинают демонстрировать наиболее заметные успехи. 

Большие языковые модели уже умеют писать тексты, генерировать код, собирать и структурировать информацию, готовить сводки, создавать документацию и выполнять множество других задач, которые ещё недавно требовали участия специалистов разных профилей. Они оказываются особенно эффективны там, где нужно быстро охватить широкий круг тем без глубокого погружения в каждую из них.

Отсюда возникает неудобный вопрос. Если машина всё лучше справляется с ролью универсала, зачем человеку становиться ещё большим универсалом, каким его хочет видеть рынок? И не означает ли это, что сама идея специалиста широкого профиля постепенно теряет ценность?

Вспомним, что ни одна сложная система не способна полностью описать себя изнутри. Для этого ей нужно выйти на уровень метаописания — посмотреть на себя со стороны, через другую систему координат. И человек может стать такой мета-системой над ИИ.

Поэтому главный дефицит смещается с универсальности в сторону способности переходить между различными системами знаний.

Ценным становится не человек, который знает понемногу обо всём, а человек, который способен соединять разные области, видеть противоречия между ними и создавать новые способы описания проблемы.

Именно отсюда и возникает идея T-Shape-специалиста. 

Её смысл часто понимают слишком упрощённо, но исторически T-Shape не поверхностная универсальность. 

Однако глубокая экспертиза и способность выходить на уровень метаописания автоматизируются значительно хуже.

Поэтому в ближайшие годы конкурентным преимуществом человека, вероятно, станет способность формулировать проблемы, определять контекст, видеть ограничения существующих моделей, осознанно связывать разные области знания и принимать решения в условиях неопределённости.

Иными словами, чем лучше машины справляются с задачами уровня «понемногу обо всём», тем выше становится ценность людей, которые умеют выходить за пределы рамок. Не тех, кто просто владеет большим количеством навыков, а тех, кто способен понимать, где заканчивается одна система и начинается другая. Именно на этом уровне сегодня проходит граница между автоматизацией и тем, что пока остаётся по-настоящему человеческим.

Человек как внешняя система для замкнутой системы искусственного интеллекта ^[7] ценен именно способностью выходить за рамки формальной логики и заполнять эту неполноту:

• задавать новые основания;

• объединять разные области;

• работать с неопределённостью;

• интерпретировать контекст;

• принимать решения там, где нет заранее заданного ответа и предпосылок. 

И чем больше ИИ автоматизирует повторяемые и формализуемые операции, тем выше становится ценность этих некодифицируемых человеческих навыков по работе с метауровнем.

Где в реальности находится «метауровень» системы

В бизнесе, IT и экономике метауровень там, где определяются правила игры: в постановке задач, в решении того, что вообще считать задачей, в выборе критериев успеха, в интерпретации требований и согласовании разных участников процесса. Там формируется контекст, внутри которого затем работают люди, команды и технологии.

Это принципиально важный момент, потому что большинство реальных проблем в IT и бизнесе возникают не на этапе решения задачи, а значительно раньше — на этапе её формулировки. Часто оказывается, что команда способна качественно реализовать решение, но само решение было построено вокруг неверно понятой проблемы, противоречивых требований или ошибочных предпосылок. В результате технически всё сделано верно, а бизнес-результат неудовлетворительный.

Помните, что, согласно исследованию RAND Corporation, около 80% проектов в области искусственного интеллекта в мире терпят неудачу, а российские компании тратят на внедрение ИИ более 90 миллиардов рублей в год, но реально используют его не более 6% организаций? 

Так вот они спотыкаются как раз на этом метауровне. Доля пилотных ИИ-проектов без продолжения в России к началу 2025 года составляла 90%, а к концу года снизилась до 80%. Потому что, по данным «К2Тех» и ГК Softline ^[8], ИИ не работает как нам хочется при следующих вводных:

• Некорректной постановке задач. Например, она поставлена либо «слишком широко» (невозможно внедрить и защитить экономику), либо «слишком узко» (результат не влияет на бизнес), непонятно до конца, что хотят, а может хотят параллельные перпендикулярные линии;

• Дефиците качественных данных, хаосе в данных и управлении ими. Низкое качество данных, отсутствие владельцев данных и Data Governance — всё это ломает сроки проекта и зачастую не позволяет достоверно оценивать результаты работы итоговой системы;

• Дефиците продуктовой/технологической компетенции у исполнителей. Без связки доменной экспертизы, data science, архитектуры и MLOps проект быстро превращается в «витрину моделей»;

• Бюрократических барьерах, а ещё модели не всегда могут лавировать в хитросплетениях государственных регистраций и законов;

• Неготовности бизнеса к изменениям, неинтегрированности в операционку и ИТ-ландшафт. Модель может быть точной, но бесполезной без встраивания в процессы, изменения оргстуркутры и архитектуры ролей в компании;

Внедрение ИИ упирается в те же ограничения, что и у любых технологий, фичей и изменений до него — в слабость менеджмента. Поэтому менеджеры, способные разобраться с этим, ценились раньше и ценятся сейчас. 

Человек появляется в этой зоне как системный интерпретатор. Современный ИИ способен обобщать данные, находить закономерности и генерировать решения внутри заданных рамок. Однако он практически всегда исходит из предположения, что сами рамки определены корректно. Проблема в том, что в реальности это предположение часто оказывается ложным. Требования бывают неполными, цели — противоречивыми, участники процесса могут по-разному понимать один и тот же результат, а бизнес-задача нередко оказывается сформулирована не так, как её действительно следует решать. Поэтому самая сложная часть работы в понимании того, какой вопрос вообще нужно задавать.

Например, сакральный вопрос всех аналитиков при общении с заказчиком:

— А какую проблему мы решаем?