Что нужно сегодня знать AI-инженеру – это понимание тривиальности и нонсенса

 У нас появился GenAI, современные ИИ-агенты объединились в оркестры, решают математические задачи из списка XXI века, такие Уравнения Навье — Стокса. У нас есть вайб-кодинг и открытие новых лекарств. Представители Anthropic заявили о подозрении на существование если и не сознания, то о приближении к AGI у последней версии Fable. А еще они заявили об обнаружении подсистемы эмоционального интеллекта ^[1], правда, в виде паттернов разреженных кортежей слов.

И здесь возникает вопрос: как не потеряться во всем этом великолепии? Как AI-инженеру не оказаться вытесненным своим же собственным детищем? Ведь сегодня каждый CEO, да что уж там, каждый сотрудник может сам себе накодить AI-агента, создать свой маленький (или большой) оркестр и никто им вроде бы не нужен.

Однако реальность такова, что только 6% опрошенных ^[2] доверяют ИИ, хотя так или иначе AI-агентами пользуются 66%. Основная проблема – правдоподобный вывод. Суть проблемы в том, что найти «классическую» ошибку ^[3] легко, а ошибку, которая выглядит как истина – сложно. Она размыта внутри большого количества связей, где каждая отдельная связь или отдельный вывод верны сами по себе.

И здесь, как мне кажется, критическим навыком становится умение видеть тривиальное и парадоксальное, то, что является «здравым смыслом» и «странным» или парадоксальным. Именно этими навыками и должны сегодня обладать AI-инженеры.

Для понимания дальнейшего рассуждения необходимо сделать несколько посылов:

1.      Современные ИИ можно понимать как аппроксимационную машину.

2.      Мы знаем оценку доли ложных решений ИИ-машины (Precision) и доли тех верных решений, которые ИИ-машина не смогла покрыть. Как бы и что бы не пытался говорить о том, что эти метрики не связаны с вероятностями, но в действительности их можно трактовать именно так. Термин «доли» выхолащивает суть. А практическая суть в том, на сколько часто мы ДОЛЖНЫ ждать ошибки, ведь мы ЗАРАНЕЕ не можем предсказать: ошибется ли ИИ-машина именно в этом конкретном случае, в этой конкретной задаче, или нет.

3.      Обучение ^[4] происходит всегда на ограниченном наборе примеров, вне зависимости от того, насколько большой набор обучающей выборки. По крайней мере, это верно для большинства ситуаций, где количество и многообразие потенциальных комбинаций значений переменных достаточно велико. Отсюда мы можем сделать вывод о том, что она выделяет общие случаи и МАКСИМИЗИРУЕТ вероятность того, что решение будет наиболее ТИПИЧНЫМ с точки зрения ^[5] с точки зрения примеров представленных в ОБУЧАЮЩЕЙ выборки.

Отсюда у нас возникает различие в решениях, принимаемых человеком и ИИ-машиной. Суть этих отличий в том, что ИИ-машина оперирует наборами паттернов типичных ситуаций – «patterns of a typical situation» (AI-PTS) и человеческим «здравым смыслом» или «common sense» (HCS).

Отсюда возникает задача не просто разработки системы тестов, умения разделять выборку на обучающую и тестовую, а умения выделять и выделять этот самый HCS и добавлять наборы тестов, которые бы дали понимание и оценку того, насколько и где, в каких ситуациях, скорее всего AI-PTS будет отличаться от HCS.

Все вышесказанное требует обращения к таким философским понятиям как тривиальность и нонсенс.

Тривиальность – свойство чего-либо быть предельно простым, обыденным, очевидным или лишённым новизны и оригинальности. Но эта, казалось бы, простая формулировка порождает 2 направления исследований:

Первый — это то самое искусство разделения обучающей выборки.

Второй – это дополнение тестов теми примерами, которых нет в обучающей выборки. А это тоже необходимо уметь видеть и выявлять. Это умение выявить ситуации, когда бессмыслица маскируется под смысл. Здесь сразу вспоминаются симулякры Жана Бодрийяра.

Нонсенс (от лат. non — «нет» и sensus — «смысл») –  высказывание или действие, лишённое логического смысла, бессмыслица или нелепость.  Такова, однако, общая трактовка и ее знают все.

И здесь нужно сказать о необходимости умения формировать не только истинные высказывания, но и заранее формировать наборы тестов с заранее предусмотренными логическим ошибками. Другими словами – делать стресс-тесты на умение противостоять бессмыслице.

Но есть еще одно понимание нонсенса – делезовское. Делез переосмыслил это понятие, разделив его на абсурд и собственно нонсенс.

• Абсурд — это провал, тупик, нехватка смысла. Делёз указывает, что абсурд -это то, что «существует без значения» или находится «вне бытия». Пример: «квадратный круг».

• Нонсенс (бессмыслица) обладает собственной активной структурой. Он не разрушает мысль, он констатирует мысленный провал, недостаток, в нашем распоряжении необходимой логики. Обнаружить нонсенс, значит обнаружить недостаток, который необходимо и имеет смысл восполнить.

Вывод: AI-инженер сегодня должен сегодня уметь работать как с абсурдными высказываниями, так и уметь выявлять нонсенс как место, где вероятнее всего могут обитать новые смыслы.

Т.е. современный AI-инженер должен быть всегда начеку (а это тоже навык) и обозревая предметную область, уметь высказываться об этой предметной области по-разному, обнаруживая связи и проверяя ИИ-машину как на тривиальности, так и абсурд, и нонсенс.

Именно здесь и лежит основание того навыка, которым должен обладать современный AI-инженер. Кроме, конечно, навыка формализации высказываний на естественном языке (промптов) и отличия скиллов от хуков.

Это значит, что современный AI-инженер должен обладать философским знанием, знанием аналитической философии, эпистемологии, гносеологии и теории познания.