Границы моего языка — это границы моего мира, или почему AGI недостижим с помощью LLM

Можете ли вы поверить в то, что учитель из Австро-Венгрии предсказал возможности современных LLM и их ограничения еще более 100 лет назад?

Сегодня все говорят о пузыре ИИ, но еще недавно от LLM многие ждали прорыва, и даже возможной дороги к AGI. Но на чем основывались эти ожидания? И почему мы поверили в этот мираж?

Эта история о том, как природу этого миража один человек увидел еще более века назад. И его имя — Людвиг Витгенштейн.

Немного о нашем герое.

Он родился в богатой семье в Вене, начинал свой путь с изучения машиностроения, затем заинтересовался математикой ^[1], и чуть позже стал учеником Бертрана Рассела в Кембридже.

Немного позже его взгляд пал на философию языка. Первой большой работой в этой области стал «Логико-философский трактат», который он начал в Кембридже, а закончил – в окопах Первой Мировой войны.

Самая знаменитая цитата оттуда:

«Граница моего языка — это граница моего мира».

О практических следствиях этой идеи мы поговорим чуть позже.

Надо отметить, что «Трактат» привлек большое внимание ^[2] уже в то время, когда был написан. Это объяснимо: ключевой мыслью было то, что язык – это отражение реальности. Эта идея идеально попадала в дух времени: тогда казалось, что наука ^[3] хранит ответы на все возможные вопросы, надо только разложить их по полочкам и посчитать. Если мы логически проанализируем язык, то сможем вывести из него природу реальности.

Мы, как инженеры, возьмем эту идею за отправную точку. Если мы научим машину общаться, значит мы автоматически научим ее мышлению ^[4] и пониманию мира. А это – прямой путь к AGI. Из похожего хода мысли, кстати, растут ноги у теста Тьюрига.

Значит, AI-гиганты на верном пути?

Когда появились первые продвинутые чат-боты, они разговаривали, и нам казалось, что они нас понимают. От них ожидали многого, потому что они вели себя очень похоже на человека. Я сам был в восторге, когда GPT-3 объяснил мне, в чем именно был смысл стиха Маяковского. Если компьютер способен воспринимать такие абстрактные метафоры, гиперболы и прочие средства выразительности, значит он точно способен мыслить?

Но вернемся к нашему герою. После того, как он закончил работу над «Трактатом», он ушел из философии и науки. Он решил, что ему больше нечего сказать. Витгенштейн раздал большую часть своего наследства родственникам, и уехал учить детей в деревенскую школу в Норвегии, где он и заметил некоторые неожиданные особенности языка.

Понаблюдаем за тем, как язык формируется. Если говорить про модели, то они обучаются на датасетах. Поэтому они понимают, что тарелка – лежит на столе, а чашка – стоит, потому что эти словосочетания встречались им тысячи раз. Но как ты объяснишь это ребенку? Что вообще эта ваша тарелка, а что – чашка, не говоря уже о их положении на столе? И именно за формированием языка и наблюдает Витгенштейн во время преподавания в школе.

Чтобы ребенок понял, что такое тарелка, а что — чашка, обычно мы показываем ему на предмет. Как правило — пальцем. А этот жест уже не входит в язык. Когда мы обучаемся, мы принимаем «правила игры», что чашка, например, более вытянутая, чем тарелка. Или что у этой посуды разный функционал: чашка для жидкого, а тарелка — для твердого. Эти правила мы чаще всего схватываем невербально, просто из нашего опыта ^[5]. Именно из таких правил складываются «языковые игры», как их называл Витгенштейн. Но при этом, у нас появляются исключения даже таких простых вещей, как чашка и тарелка, ведь мы можем насыпать в чашку чего‑то твердого, а в тарелку налить жидкость. Что говорить об абстрактных понятиях философии, таких как смысл, красота, любовь?

Эти наблюдения за языком и стали основой для второй переломной работы Витгенштейна – «Философских исследований». В ней он почти полностью разрушил и переосмыслил свои ранние идеи. Язык стал игройс динамически меняющимися правилами в зависимости от контекста, а не «зеркалом мира». И похожее понимание у нас сформировалось при наблюдении за работой LLM в реальных условиях.

Мы наблюдали за продуктами AI-компаний в реальных условиях в течение 6 лет, если считать датой отсчета релиз GPT-3. И теперь, когда мы попробовали внедрить LLM в реальные задачи, применить их в реальных кейсах, мы увидели, что LLM – не думает так, как человек. Модель не может отделять ключевое от второстепенного, держать мысль по ходу разговора, она галлюцинирует, придумывает факты как раз потому, что у нее нет реального опыта, контекста в котором происходит общение.

Язык, по моему мнению, это не необходимость для мышления. Это его следствие. Способ архивации и передачи информации. Сам по себе, как инструмент, он недостаточен ни для мышления, ни для описания и исследования жизни (чем, по сути, и занимается философия).

Что в итоге?

Во всем этом ажиотаже, «пузыре ИИ» и прочих нехороших вещах виноваты не жадные компании, глупые CEO и даже не маркетинг. Возможно, даже Сэм Альман верил в то, что мы стоим на пороге AGI. Потому что почти всю историю человечества язык связывался с мышлением: от Библии, через аналитическую философию, и напрямую к computer science. И когда машина заговорила – все посходили с ума. Но границы языка снова оказались не границами мира. Они стали багом, который инженеры смогли превратить в фичу, а корпорации – продать как «бога в машине».