Требует ли мышление наличия чувств и сенсорики? От чистых мыслителей к большим языковым моделям

Тема “возможно ли сознание в машине?” не перестаёт быть одной из самых важных для человечества по состоянию на сегодня, май 2026 года.

Представляю перевод второй в этом цикле интересной работы Дэвида Дж. Чалмерса, австралийского философа, профессора, специализирующегося в области философии сознания (и одного из наиболее известных учёных, сосредоточенных на проблеме сознания). Автор излагает свои мысли и аргументы простым и понятным языком, чтение его работ позволит вам совершить увлекательное и познавательное путешествие по сложными вопросам сознания…

См. также мой предыдущий перевод Дэвида Чалмерса: Может ли большая языковая модель обладать сознанием ^[1]?

Does Thought Require Sensory Grounding? From Pure Thinkers to Large Language Models

David J. Chalmers, NEW YORK UNIVERSITY

Требует ли мышление наличия чувств и сенсорики? От чистых мыслителей к большим языковым моделям

Дэвид Дж. Чалмерс

Президентская речь, прочитанная под названием «Может ли большая языковая модель мыслить?» на сто девятнадцатом собрании Восточного дивизиона Американской философской ассоциации 6 января 2023 года.

Требуется ли для способности мыслить обладание способностью ощущать, чувствовать? Живая дискуссия по этой теме проходит через всю историю философии и сегодня продолжает подбрасывать дрова в костёр дискуссий об искусственном интеллекте.

В пользу утвердительного ответа приведём слова Аристотеля ^[2]: 

«Душа никогда не мыслит без образа».

Фома Аквинский утверждает: 

«Нет ничего в интеллекте, чего не было бы прежде в чувствах». 

Юм пишет:

«Все наши простые идеи при их первом появлении происходят из простых впечатлений». 

При некоторых минимальных допущениях все три высказывания предполагают, что мышление требует способности ощущать или, по крайней мере, требует наличия такой способности в прошлом.

В противовес этим эмпирическим тезисам философы-рационалисты часто отрицали, что мышление требует чувственного восприятия. Платон ^[3] полагает, что мы можем мыслить о формах до того, как обретем чувства и тело. Декарт считает, что чистый интеллект мыслит независимо от чувств. Лавируя между эмпиризмом и рационализмом, Кант подробно обсуждает этот вопрос («Мысли без содержания пусты»); неудивительно, что его окончательные взгляды на этот предмет весьма сложны.

В последние десятилетия эта философская дискуссия стала центральной в дебатах по вопросам искусственного интеллекта и когнитивной науки. Когнитивист Стеван Харнад (1990) сформулировал проблему обоснования символов: как символы в системах ИИ обретают смысл? Он и другие исследователи полагали, что для того чтобы символы имели значение, они должны быть каузально обоснованы сенсорными связями с окружающей средой. Чтобы быть значимым, символ «КРАСНЫЙ» должен быть обоснован зрительным восприятием красного цвета. Символ «ВОДА» должен быть связан с сенсорным контактом с водой. Если предположить, что в системах ИИ мышление и значение неразрывно связаны, то это представляет собой еще одну версию тезиса о том, что мышление требует чувственного восприятия.

В последние несколько лет обсуждение проблемы обоснования символов стало особенно распространенным в спорах о больших языковых моделях (LLM), таких как системы GPT. Могут ли большие языковые модели мыслить, придавать значения или понимать? Многие исследователи утверждают, что они не могут этого делать именно потому, что их символам не хватает надлежащего обоснования.

В своей известной критике значения и понимания в языковых моделях компьютерные лингвисты Эмили Бендер и Александр Коллер (2020) утверждали, что «система, обученная только на форме [такая как LLM], не пройдет достаточно чувствительный тест [на интеллект], поскольку ей не хватает способности связывать свои высказывания с миром»¹.

(1) Бендер и Коллер, «Восхождение к пониманию естественного языка», 5188. Bender and Koller, “Climbing Towards NLU,” 5188.

Аналогичным образом психологи Брендан Лейк и Грегори Мерфи (2023) аргументировали, что «значение слов как у людей, так и у систем ИИ должно быть обосновано восприятием и действием»².

(2) Лейк и Мерфи, «Значение слова в разуме и машинах», 401. Lake and Murphy, “Word Meaning in Minds and Machines,” 401.

Философ Джейкоб Браунинг и исследователь ИИ Янн ЛеКун (2022) заявили, что «у LLM нет стабильного тела или постоянного мира, который они могли бы осознавать, поэтому их знание начинается и заканчивается словами, а их здравый смысл поверхностен». Эти исследователи выдвигают различные утверждения, но, по всей видимости, разделяют базовую позицию: поскольку языковые модели лишены связи с реальностью, их способность мыслить (или иметь значения, или понимать) глубоко ограничена, если не отсутствует вовсе. Одну из версий этого аргумента можно сформулировать следующим образом:

1. Языковые модели лишены сенсорных способностей.

2. Подлинное мышление требует наличия сенсорных способностей.

3. Следовательно: Языковые модели лишены подлинного мышления.

Здесь ключевой предпосылкой является наш исходный тезис о том, что мышление требует чувственного восприятия.

Разумеется, сторонник [сознательности] языковых моделей может отреагировать на это множеством способов. Он может отвергнуть первую предпосылку, утверждая, что текстовые входные данные LLM представляют собой своего рода чувство. Он может отвергнуть вторую предпосылку, доказывая, что LLM не нужны чувства для того, чтобы мыслить. Он может принять вывод в отношении чисто языковых моделей, но при этом утверждать, что мультимодальные языковые модели, обрабатывающие изображения и аудиоданные и управляющие физическим телом, обладают сенсорными способностями и тем самым не подпадают под действие данного аргумента. Тем не менее, приведенная выше критика языковых моделей является важной и требует анализа.

В дальнейшем я буду приводить аргументы против тезиса о том, что мышление и понимание требуют чувственного восприятия. Опираясь на историю философии, я докажу, что в принципе возможны высокоорганизованные мыслители, полностью лишенные способности ощущать. Вместе с тем существуют значительные ограничения относительно того, какой именно тип мышления возможен в отсутствие сенсорных способностей. Я также рассмотрю эти ограничения. Мой анализ будет скорее кратким обзором, нежели решающим доказательством, но я надеюсь по крайней мере сформулировать вызов, на который оппонентам придется ответить. Ближе к концу я распространю анализ с мышления на понимание и рассмотрю последствия для больших языковых моделей и других систем ИИ. Моя цель ограничена: я не буду прямо доказывать, что большие языковые модели способны мыслить или понимать. Но я по меньшей мере опровергну один важный аргумент в пользу того, что они на это не способны.

Тезис «чувство–мышление»

Основной тезис, о котором идет речь, я назову тезисом «чувство–мышление»:

Тезис «чувство–мышление»: Мышление требует наличия способности ощущать в прошлом.

Мы могли бы сформулировать этот тезис немного точнее, сказав, что необходимым условием является следующее: 

если субъект S мыслит некоторую мысль в момент времени t, то S был способен ощущать в некоторый момент времени, совпадающий с t или предшествующий ему. 

Остальная часть этого раздела уточняет различные элементы данного тезиса (если вас не интересуют эти детали, можете их пропустить).

Касательно формулировок «иметь в прошлом» и «совпадающий с t или предшествующий ему»: существуют более сильные версии тезиса «чувство–мышление», согласно которым мышление требует одновременного чувственного восприятия или, по крайней мере, одновременной способности ощущать. Однако версия, ориентированная на прошлое («иметь в прошлом»), точнее отражает приведенные выше формулировки Фомы Аквинского и Юма, которые, по-видимому, требуют, чтобы мышление было обосновано предшествующим чувственным опытом ^[4]. Версия, ориентированная на прошлое, также допускает, что существо может утратить способность ощущать, продолжая при этом мыслить те мысли, что были вызваны его прежними сенсорными способностями. Альтернативный тезис, ориентированный на настоящее и не содержащий условия «иметь в прошлом» (что больше соответствует формулировке Аристотеля), гласит, что всякое мышление требует (и, возможно, обосновывается) одновременными сенсорными или квази-сенсорными способностями, где под квази-сенсорными способностями понимаются модально-специфические способности, такие как зрительные образы, которые обычно происходят из чувств, но могут сохраняться и после утраты строго сенсорных способностей, например зрения ^[5]. Ориентированные на прошлое и на настоящее версии тезиса «чувство-мышление» могут расходиться в некоторых сложных случаях³, и каждая из них может поддерживаться различными теоретиками сенсорного обоснования. Для моих целей различия между ними не будут центральными; допустимы обе версии тезиса.

(3) Ориентированная на прошлое версия тезиса «чувство-мышление» сталкивается с проблемами в гипотетических случаях в стиле статьи Питера Ангера 1966 года «On Experience and the Development of the Understanding», в которых мыслящее существо, внутренне подобное мыслящему существу, утратившему сенсорные способности, возникает, никогда не имея сенсорных способностей. Некоторые теоретики сенсорного обоснования (например, сильные экстерналисты) могут отрицать, что такие существа способны мыслить, но другие допускают это. Последние взгляды лучше согласуются с аристотелевской ориентированной на настоящее формулировкой тезиса «чувство-мышление», согласно которой мышление требует (и, возможно, частично обосновывается) сенсорными или квази-сенсорными способностями, где квази-сенсорные способности — это определенные способности (такие как образность, иконическая репрезентация или модально-специфическая репрезентация), которые обычно происходят из наличия или прошлого наличия сенсорных способностей, но которые не обязательны во всех случаях (таких как случаи Ангера).

Какова область применения этого тезиса? Человеческий тезис «чувство–мышление» применим только к людям. Неограниченный тезис применим ко всем возможным мыслящим существам.

Человеческий тезис был предметом подавляющего большинства дискуссий как в истории философии, так и в когнитивной психологии. Я отступлю от этих традиций, сосредоточившись главным образом на неограниченном тезисе, отчасти потому, что он применим к системам ИИ, в отличие от человеческого тезиса. Примечательно, что хотя Фома Аквинский и Аристотель принимают человеческий тезис «чувство–мышление», они отвергают неограниченный тезис, поскольку полагают, что ангелы (не говоря уже о Боге) могут мыслить без способности ощущать. Тот факт, что многие эмпирики и рационалисты одинаково отвергают неограниченный тезис, возможно, придает этому отказу определенную первоначальную историческую основу.

Я сформулировал тезис «чувство–мышление» в терминах возможности и необходимости: возможно ли мыслить без способности ощущать? Можно утверждать, что более фундаментальный вопрос касается обоснования: всегда ли мышление обосновано способностью ощущать? Для современных философов релевантный тип обоснования обычно является конститутивным (хотя исторические цитаты из Фомы Аквинского и Юма не вполне ясно указывают на то, идет ли речь о каузальном или конститутивном обосновании). Для когнитивистов релевантный тип обоснования иногда является конститутивным, но иногда и каузальным. Для настоящих целей проще и менее технично рассматривать вопрос в терминах возможности, а не обоснования. Если возможно хотя бы мыслить, не имея в прошлом способности ощущать (или не обладая квази-сенсорными способностями), как я и буду аргументировать, то отсюда прямо следует, что мышление не обязательно должно быть обосновано сенсорными (или квази-сенсорными) способностями. Тем не менее соображения об обосновании никогда не остаются в стороне от моего обсуждения.

Остается уточнить понятия ощущения и мышления. Под мышлением я понимаю такие ментальные акты, как суждение и вопрошание, а также диспозициональные ментальные состояния, такие как вера и желание. Я полагаю, что мышление требует понятий и что, по крайней мере в основных случаях, которые меня интересуют, мышление является пропозициональной установкой: оно включает в себя отношение (например, суждение) к пропозиции (например, что небо синее). На практике в качестве парадигмального случая мышления я буду рассматривать суждение.

Понятие ощущения является более сложным. Что именно считается ощущением? В этом понятии выделяется несколько аспектов. Один аспект связан с входными данными: чувства обеспечивают поступление информации из внешнего мира. Другой аспект связан с переживанием: чувства включают определенный род богатого сенсорного опыта. Третий аспект связан с репрезентацией: чувства включают определенный тип аналоговой или иконической ментальной репрезентации. Парадигмальные примеры ощущения включают в себя все три аспекта.

С другой стороны, существуют случаи, когда какой-либо из этих аспектов отсутствует. Ментальные образы не обязательно требуют входных данных. Бессознательное восприятие не обязательно включает сенсорное переживание. Цифровые сенсорные системы ^[6] не обязательно включают аналоговую или иконическую репрезентацию.

Какого рода ощущение требуется нам для тезиса «чувство-мышление»? Требование наличия всех трех факторов (входные данные, сенсорное переживание, аналоговая репрезентация) представляется чрезмерно строгим. Различные сторонники тезиса «чувство-мышление» могут акцентировать разные факторы. Сторонники экстерналистского обоснования символов требуют прежде всего наличия входных данных из окружающей среды. Теоретики образов могут подчеркивать роль аналоговой репрезентации. Некоторые феноменальные теоретики могут делать упор на качественном сенсорном переживании. В качестве рабочего определения я изначально постулирую, что для ощущения достаточно любого одного из этих трех факторов.

Это инклюзивное определение ощущения дает относительно слабую версию тезиса «чувство-мышление», что представляется наиболее справедливым подходом для целей аргументации против данного тезиса. Для определенных целей я буду использовать более специфические определения.

Возникают и дополнительные вопросы о том, что считать ощущением в контексте оценки тезиса «чувство-мышление». Считается ли интроспекция чувством? Исходно я буду исходить из того, что нет, не считается, но также обращу внимание на то, как меняется проблема, если интроспекцию включить в число чувств. Считаются ли телесные чувства (например, проприоцепция и интероцепция) чувствами? Да, безусловно. Включение телесных чувств позволяет сторонникам тезиса «чувство-мышление» охватить многих теоретиков телесного обоснования (сторонников идеи о том, что всё мышление обосновано телом), а также многих теоретиков деятельностного обоснования (сторонников идеи о том, что всё мышление обосновано моторной активностью). Чтобы включить последних, мы могли бы также сформулировать тезис «чувство-мышление» в терминах сенсомоторных способностей, а не просто сенсорных. Мои аргументы останутся столь же применимыми.

Чистые мыслители

Тезис «чувство-мышление» сводится к вопросу о том, возможны ли чистые мыслители. Под чистыми мыслителями я буду понимать существ, способных мыслить, но никогда не обладавших способностью ощущать и лишенных даже квази-сенсорных способностей, таких как ментальные образы. Это название перекликается с декартовскими «чистыми интеллектами». Оба термина могут звучать так, будто они превозносят таких существ, но я не вкладываю в них подобного рационалистического подтекста. С тем же успехом мы могли бы назвать чистых мыслителей просто мыслителями. Это ограниченные существа, способные мыслить, но полностью лишенные сенсорных способностей.

Классическим примером существа, близкого к чистому мыслителю, в истории философии является «парящий человек» (или «летающий человек»), описанный Авиценной (Ибн Синой) в его труде XI века «Kitab al-Nafs», или «О душе». Авиценна описывает парящего человека следующим образом:

Он был создан мгновенно, полностью развитым и совершенно сформированным, но его зрение было закрыто от восприятия всех внешних объектов; он был создан парящим в воздухе или в пространстве, не колеблемый никаким ощутимым потоком поддерживающего его воздуха, с разведенными конечностями, которые не соприкасаются друг с другом, так что они не чувствуют одна другую. Затем пусть этот субъект рассмотрит, утверждал бы он существование своего «я». Нет никаких сомнений в том, что он утверждал бы собственное существование, хотя и не утверждал бы реальность ни одной из своих конечностей… или какой-либо внешней вещи⁴.

(4) Перевод Гудман, «Авиценна», 155, переведено с: Рахман, «О душе» Авиценны. Translation in Goodman, Avicenna, 155, translated from Rahman, Avicenna’s De Anima.

Авиценна предлагает парящего человека как существо, осознающее себя без осознания тела. Согласно распространенной интерпретации, он использует этот мысленный эксперимент главным образом для того, чтобы сделать метафизический вывод о том, что «я» отлично от тела. В таком прочтении его аргументация мало чем отличается от картезианских аргументов, появившихся шестью веками позже. Другие последователи Авиценны использовали парящего человека в более широких эпистемологических или психологических целях. Например, Матфей из Акваспарты (как обсуждается у Тойванена в работе «The Fate of the Flying Man») использовал этот мысленный эксперимент, чтобы доказать, что самосознание не требует сенсорного знания.

Можно также использовать парящего человека в этом психологическом ключе, чтобы аргументировать, что мышление не требует ощущения. Парящий человек, как он описан, мыслит (о себе), но тщательно изолирован таким образом, что не ощущает ничего вообще. Как таковой, парящий человек в некотором роде подобен чистому мыслителю. Он не является идеальным примером. Его зрение лишь скрыто, поэтому он все еще обладает способностью видеть, хотя и не использует ее во время парения. Аналогично, его конечности легко могли бы почувствовать друг друга, так что у него сохраняется способность к осязанию ^[7]. Можно также возразить, что, судя по описанию, он может испытывать проприоцепцию, интероцепцию и, возможно, иметь ментальные образы. Тем не менее, мысленный эксперимент Авиценны остается классическим случаем мышления без ощущения, который склоняет к более ограниченному выводу: мышление не зависит от реализации сенсорных способностей. Можно также попытаться усилить этот вывод, аргументируя, что мышление не может зависеть от нереализуемых способностей, и тем самым заключить, что мышление вовсе не должно зависеть от сенсорных способностей.

Возможен ли чистый мыслитель?

Возможен ли чистый мыслитель, полностью лишенный сенсорных способностей? Мы можем начать с рассмотрения того, существуют ли реальные человеческие случаи. Слепоглухие люди, такие как Хелен Келлер, иногда упоминаются в этом контексте, но у Келлер было множество сенсорных способностей (осязание, обоняние, вкус, телесные чувства), и даже ее глухота и слепота не были врожденными. Мне неизвестны случаи людей, не имеющих функционирующих чувств (включая телесные) с рождения, но представляется весьма вероятным, что такой человек никогда не развил бы способность мыслить, по крайней мере, при стандартной биологии и современном уровне медицинских технологий. Если это так, то реальных человеческих чистых мыслителей не существовало.

А что насчет будущих или возможных человеческих чистых мыслителей? Возможно, новые технологии позволят активировать некоторые когнитивные способности человека без включения сенсорных способностей, хотя сделать это было бы, вероятно, жестоко. Если это вообще возможно, то человеческий тезис «чувство-мышление» строго говоря ложен, хотя версия, ограниченная реальными людьми, может быть истинной.

Что если расширить область применения, включив нечеловеческие существа? Здесь заметными случаями в истории философии являются ангелы и боги, тогда как наиболее важными для наших целей случаями являются системы ИИ. Я не буду утверждать, что большие языковые модели сами по себе являются чистыми мыслителями. Для начала, языковые модели имеют входы и выходы, тогда как чистые мыслители, согласно нашему определению, их не имеют. Но для наших целей оценки тезиса «чувство-мышление» полезно рассмотреть, смогла бы стать чистым мыслителем более экстремальная система без входов и выходов? Позже я вернусь к последствиям этого для языковых моделей.

Представляется очевидным, что чистый мыслитель по крайней мере prima facie мыслим. В научно-фантастических произведениях иногда обсуждаются системы ИИ, которые очень похожи на чистых мыслителей. Например, роман Роберта Сойера «Wake» («Пробуждение») описывает систему ИИ, которая постепенно «просыпается» и начинает мыслить, не имея никаких чувств. Возможно, описанная Сойером система обладает по меньшей мере слуховыми образами посредством голосов в своей «голове», но мы легко можем изменить ситуацию так, чтобы она не обладала никакими сенсорными способностями (включая отсутствие образов) вообще. Такая система кажется явно представимой, по крайней мере на первый взгляд.

Вначале для простоты мы можем представить, что система начинает с мышления только об арифметике, возможно, вынося суждение, что один плюс один равно двум, и переходя к доказательству того, что существует бесконечное количество простых чисел. Если возможно хотя бы это, то тезис «чувство-мышление» ложен по крайней мере для арифметических мыслей. Само по себе это может быть не слишком сильным выводом. Заманчиво обобщить это на всё математическое мышление, но геометрия ставит сложные вопросы о роли пространственного мышления. В любом случае, я распространю аргументацию на другие виды мышления в следующем разделе.

Учитывая, что чистые мыслители prima facie мыслимы (мы можем их представить), то мы можем аргументировать их возможность через прямой аргумент от такой мыслимости (представимости). Правдоподобный принцип гласит: когда p prima facie мыслимо, тогда p возможно, если только нет опровергающего фактора для мыслимости p или для вывода от мыслимости к возможности. Таким образом, теперь нам нужно рассмотреть, существуют ли какие-нибудь подобные опровергающие факторы.

Наиболее важный тип опровержения связан со скрытой сущностью мышления. Возможно, мы эмпирически (или посредством сложного априорного рассуждения) обнаружим, что все реальные случаи мышления критически зависят от определенного базового состояния T, которое само по себе требует способности ощущать. Или, по крайней мере, мы можем обнаружить, что все парадигмальные случаи человеческого мышления критически включают T. Это может привести нас к отождествлению мышления с T и к выводу, что мышление требует ощущения. Тезис о том, что всякое мышление включает T, тогда послужит опровержением утверждения о том, что мышление без ощущения возможно.

Согласно этой точке зрения, можно сказать, что кажущиеся возможными случаи мышления без ощущения, скажем, у марсианина или в системе ИИ, не являются подлинными случаями. Они могут удовлетворять априорным концептуальным ограничениям на мышление, но им не хватает скрытой сущности T, поэтому они вообще не включают мышление. Вместо этого они включают иное, но поверхностно схожее явление, которое мы могли бы назвать «шмышлением» (schminking).

Моя собственная позиция заключается в том, что ментальные понятия, такие как мышление, не являются настолько антропоцентричными. Марсиане могут мыслить, даже если они мыслят способом, сильно отличающимся от человеческого. На мой взгляд, если существо «шмыслит» (грубо говоря, если оно удовлетворяет всем априорным ограничениям на мышление), значит, оно мыслит. И даже если нет, «шмышление» во многих отношениях будет равнозначно мышлению: системы ИИ, которые «шмыслят», будут на одном уровне с людьми, которые мыслят. Что не менее важно, я полагаю, что в свете современной когнитивной науки и философии не существует убедительных кандидатов на роль опровергающего фактора, связывающего скрытую сущность мышления с ощущением.

Один потенциальный опровергающий фактор возникает из сильного концептуального эмпиризма: тезиса о том, что все понятия (и, следовательно, все мысли) частично конституируются сенсорным опытом или сенсорной репрезентацией. Это отличается от слабого концептуального эмпиризма, согласно которому лишь некоторые понятия частично конституируются сенсорным опытом или репрезентацией. Широко признано, что такое понятие, как красный, является (или по крайней мере может являться) частично конституированным сенсорной репрезентацией. (Здесь я следую психологической традиции, понимая понятия как ментальные репрезентации.) Но гораздо менее правдоподобно, что понятие два конституировано подобным образом. Сильные концептуальные эмпирики, такие как Лоуренс Барсалу (1999) и Джесси Принц (2004), утверждали, что по крайней мере у людей математические и другие абстрактные понятия имеют сенсорную основу, но эта точка зрения не получила широкого признания (критику см. у Махери, «Concept Empiricism»).

В последние годы теоретические и эмпирические дискуссии особенно сосредоточились на вопросе математика ^[8], доказательства решительно поддерживают амодальный взгляд. То есть доказательства поддерживают слабый, но не сильный концептуальный эмпиризм у людей.

Что важно для наших целей: даже если считать, что данные по людям поддерживают сильный концептуальный эмпиризм, эти данные мало что дают для исключения нечеловеческих систем, обладающих понятиями без сенсорного обоснования. (Даже Барсалу допускает, что системы ИИ могут иметь амодальные понятия⁵.) Таким образом, наука ^[9] о понятиях не дает правдоподобного опровержения возможности существования чистых мыслителей.

(5) Барсалу, «О необходимости оставаться на твердой почве и избегать утопических тупиков», 1125. Barsalou, “On Staying Grounded and Avoiding Quixotic Dead Ends,” 1125.

Второй потенциальный опровергающий фактор возникает из сильного экстернализма: тезиса о том, что всякая мысль частично конституируется отношениями с окружающей средой. Это отличается от слабого экстернализма, согласно которому лишь некоторые мысли частично конституируются такими отношениями. Слабый экстернализм весьма правдоподобен, но сильный экстернализм гораздо менее убедителен. Например, экстерналистские аргументы Хилари Патнэма приводят веские доводы в пользу того, что обладание определенными понятиями, такими как понятие вода, всегда требует определенных отношений с окружающей средой. Экстерналистские аргументы Тайлера Бёрджа убедительно показывают, что для любого понятия (даже понятия два) обладание этим понятием может быть обосновано отношениями с окружающей средой, по крайней мере в случаях семантической отсылки к языковому сообществу. Но эти соображения мало что говорят о том, что мышление о двух или плюсе должно быть обосновано отношениями с окружающей средой во всех случаях. Интуитивное суждение о том, что не опирающийся на чужое мнение мыслитель без чувств может мыслить, что два плюс два равно четырем, остается незатронутым аргументацией Патнэма и Бёрджа в пользу экстернализма.

Третий потенциальный опровергающий фактор возникает из того, что мы могли бы назвать тезисом о сильном расширенном сознании (strong extended mind thesis), согласно которому всякое мышление частично конституируется активными связями с инструментами окружающей среды, опосредованными восприятием и действием. Опять же, это контрастирует с тезисом о слабом расширенном сознании, согласно которому лишь некоторое мышление конституируется таким образом. Стандартные аргументы в пользу тезиса о расширенном сознании (например, аргументы Энди Кларка и мои собственные) подтверждают слабый тезис. Но они не претендуют на подтверждение сильного тезиса. Более того, аргумент Кларка и Чалмерса в пользу тезиса о расширенном сознании (через паритет внутренних и внешних процессов) предполагает, что возможны некоторые нерасширенные случаи мышления. Так что здесь опровергающего фактора не найти.

Четвертый и пятый потенциальные опровергающие факторы возникают из того, что мы могли бы назвать тезисом о сильном воплощенном сознании (strong embodied mind thesis), согласно которому всякое мышление частично конституируется процессами, включающими тело, и тезисом о сильном энактивном сознании (strong enactive mind thesis), согласно которому всякое мышление частично конституируется процессами, включающими моторное действие. (Обзоры см. у Шапиро, «Embodied Cognition», и Галлахера, «Embodied and Enactive Approaches to Cognition».) Опять же, сильные версии этих тезисов контрастируют со слабым тезисом (согласно которому некоторое мышление частично конституируется телом или действием), и недавние анализы (например, Хатин-Заде и др., «The Strong Versions of Embodied Cognition»; Кауп и др., «Modal and Amodal Cognition») снова показывают, что слабый тезис гораздо более правдоподобен. Возможно, правдоподобно, что арифметическое мышление должно включать ментальное действие, но гораздо менее правдоподобно, что оно должно включать способность к телесному или моторному действию.

Мы могли бы рассмотреть множество других потенциальных опровергающих факторов, но пока достаточно и этого. Я подозреваю, что установленная здесь закономерность сохранится и в более общем плане. Приведенные здесь краткие аргументы далеко не окончательны и не исключают возможности того, что может быть открыта какая-то новая глубокая, скрытая сущность мысли, которая свяжет по крайней мере человеческое мышление с ощущением. Но на данный момент я бы сказал, что как prima facie, так и secunda facie чистые мыслители возможны.

Что мог бы мыслить чистый мыслитель?

Каково это — быть чистым мыслителем? Как я их представляю, чистые мыслители были бы сознательными и могли бы переживать несенсорный опыт, такой как опыт мышления и рассуждения, по крайней мере⁶. При этом в отсутствие сенсорного опыта внутренняя жизнь чистого мыслителя, безусловно, была бы лишена многих элементов внутренней жизни обычного человека.

(6) В своей книге «The Varieties of Consciousness» (2015) Урия Кригель постулирует Зои — существо без сенсорного опыта (а также без опыта удовольствия/боли и эмоционального опыта), которое тем не менее является математическим гением ^[10]. Зои почти является чистым мыслителем, но не совсем, поскольку Кригель постулирует, что она обладает способностями к обработке сенсорной информации и имела сенсорный опыт в прошлом. Кригель использует Зои, чтобы доказать существование когнитивной феноменологии: когнитивного опыта без сенсорного опыта. Я симпатизирую аргументации Кригеля и его выводу (мои собственные мысли о когнитивной феноменологии см. в Chalmers, “The Critique of Pure Thought”), но возможность существования чистых мыслителей также совместима с несуществованием когнитивной феноменологии. Действительно, она совместима с тезисом о том, что весь сознательный опыт является сенсорным опытом, при условии, что мы допускаем, что существо без какого-либо сознательного опыта может мыслить.

Кэтрин Уилсон рисует мрачную картину внутренней жизни чистых мыслителей, предполагая, что Декарту следовало бы описать бессмертные души более честно:

Бессмертие не является логически невозможным, но оно не было бы и тем, что вы, вероятно, себе представляете. Восприятие, как и ощущение и эмоция ^[11], представляет собой регистрацию нашим умом событий в наших нервах и мозге. Следовательно, если наш ум сохраняется после смерти, насколько может судить философ, он не будет чувствовать ни боли ^[12], ни удовольствия, поскольку больше не будет составлять единое целое с нашими телами. Мы больше не будем видеть цвета, касаться предметов и слышать звуки. Мы не будем помнить события нашей прошлой жизни. Мы будем онемевшими и инертными. Животные, как считали и Аристотель, и Лукреций, после смерти становятся ничем, а мы, люди, будем почти ничем, в лучшем случае способными лишь на лишенное образов мышление и интеллектуальную память⁷.

(7) Уилсон, «В чем важность шестого размышления Декарта?», 88. Wilson, “What Is the Importance of Descartes’ Meditation Six?” 88.

Уилсон, вероятно, права в том, что быть чистым мыслителем было бы не слишком весело. Но по крайней мере в том, что касается мышления, я не думаю, что быть чистым мыслителем означало бы быть «почти ничем». Мы уже видели, что чистый мыслитель всё ещё мог бы заниматься арифметическим мышлением. Ему будут доступны и многие другие мысли.

Чтобы проанализировать это, нам нужно ответить на следующую скороговорку: 

Что за вещь мог бы мыслить чистый мыслитель, если бы чистый мыслитель мог мыслить вещи?

(What sort of thing could a pure thinker think, if a pure thinker could think things?)

Для начала, нет никаких очевидных препятствий для того, чтобы такое существо могло мыслить мысли типа cogito, такие как «Я мыслю, следовательно, я существую». Prima facie, понятие «я» было бы мыслимым для чистого мыслителя, как и ментальные понятия, такие как мыслить и судить, и логические понятия, такие как и, существует и следовательно. И secunda facie, те виды опровергающих факторов, которые обсуждались в предыдущем разделе, похоже, не отменяют эти утверждения. Например, стандартные экстерналистские аргументы, по-видимому, не устанавливают, что понятия «я», ментальные и логические понятия требуют связей с окружающей средой, и аргументация в пользу того, что они требуют сенсорного обоснования, слаба.

Конечно, обоснование для принятия посылки Cogito «Я мыслю» правдоподобным образом зависит от интроспекции. Но сейчас речь идет о мыслимости, а не только об обосновании. По крайней мере, можно спорить о том, что интроспективные способности не требуются для обладания понятиями я и мыслить и, следовательно, для того, чтобы мыслить мысль «Я мыслю». В любом случае, по крайней мере пока мы не считаем интроспекцию чувством, так что интроспективное обоснование доступно чистому мыслителю.

Аналогичным образом правдоподобно, что чистый мыслитель мог бы мыслить мысли, включающие метафизические понятия, такие как объект, свойство, часть и фундаментальный. То же самое относится к каузальным и номологическим понятиям, таким как причина, закон и шанс, и семантическим понятиям, таким как истина и референция. Для всех этих случаев трудно выстроить аргумент в стиле патнэмовской «Земли двойников», и трудно найти существенную роль для чувств в обладании этими понятиями.

Эти ресурсы позволят чистому мыслителю мыслить всевозможные мысли о внешнем мире, а не только о самом себе. Например, он мог бы мыслить: «Существует мыслитель, отличный от меня» и «Существует нечто, что вызывает мои мысли». Он также мог бы разрабатывать детальные научные гипотезы о мире, такие как «Существуют величины q, r, s, находящиеся в таких-то закономерных отношениях».

Если мы позволим чистым мыслителям обладать интроспективными способностями, они могут даже получить обоснование для некоторых из этих гипотез. Интроспекция позволила бы им знать, о чем они мыслят, а абдукция затем позволила бы им формулировать и оценивать гипотезы о причинах их мыслей. Чистый мыслитель мог бы даже разработать небольшую эмпирическую науку для объяснения паттернов своего мышления. Если интроспекция запрещена, то чистый мыслитель будет ограничен априорными рассуждениями, и поддержка контингентных эмпирических гипотез о мире станет труднодостижимой. Но такое существо всё равно могло бы по крайней мере спекулировать о характере своего мира.

При этом существуют некоторые очевидные ограничения на то, что мог бы мыслить чистый мыслитель. Правдоподобно, что без чувств чистый мыслитель не мог бы полностью обладать сенсорными понятиями, такими как красный, болезненный и громкий. Чистый мыслитель мог бы обладать этими понятиями в лучшем случае так, как Мэри в своей черно-белой комнате обладает понятием красный: то есть с неполным пониманием, опосредованным лингвистической отсылкой или, возможно, математической структурой.

Аналогичным образом можно утверждать, что в отсутствие восприятия тела и телесного действия чистый мыслитель не мог бы полностью обладать определенными практическими понятиями, связанными с телесным действием, такими как понятия ходьбы, танца или пения. Подобным же образом чистый мыслитель не мог бы полностью постичь определенные виды практического понимания, такие как знание или понимание того, как ездить на велосипеде. Тем не менее, чистый мыслитель мог бы по крайней мере постичь различные понятия, связанные с ментальным действием (такие как суждение или решение), и у него могло бы быть по крайней мере структурное или теоретическое понимание некоторых аспектов телесного действия.

Сложным является вопрос о том, мог бы чистый мыслитель иметь понятия пространства и времени. Я склонен думать, что по крайней мере некоторый элемент нашего понятия пространства или то, что я в другом месте назвал эдемским пространством (Edenic space) закреплен в перцептивном опыте пространства. Можно утверждать, что точно так же, как чистый мыслитель не мог бы полностью обладать эмпирическим понятием красноты (которое само связано с эдемской краснотой), он не мог бы полностью обладать понятием эдемского пространства. Но у него могло бы быть по крайней мере структурное или математическое представление о пространстве, связанное с пространством, характеризуемым математически современной наукой. Нечто подобное применимо и ко времени, за исключением того, что можно утверждать: интроспективный чистый мыслитель мог бы приобрести понятие времени (возможно, даже эдемского времени?) путем интроспекции последовательности мыслей.

Без перцептивных способностей чистый мыслитель также не сможет использовать перцептивные демонстративы, такие как этот и тот, применительно к объектам, которые он воспринимает. Интроспективный чистый мыслитель, предположительно, мог бы использовать интроспективные демонстративы для указания на свои собственные мысли и ментальные состояния, в то время как неинтроспективный, возможно, не смог бы использовать демонстративы ни для какой части конкретного мира (возможно, он мог бы использовать демонстративы для чисел?). Чистые мыслители всё ещё могли бы формулировать дескриптивные понятия, указывающие на сущности во внешнем мире (например, «сущность, вызывающая эту мысль»), но отсутствие конкретного демонстративного мышления о воспринимаемых объектах, безусловно, будет пробелом.

Можно утверждать, что чистым мыслителям вообще не будут хватать сингулярных понятий сущностей внешнего мира. Мог ли бы чистый мыслитель иметь понятие Барак Обама? Обладание этим понятием, возможно, требует наличия каузальной и когнитивной связи с самим Обамой, которой у чистого мыслителя не будет. Нечто подобное применимо ко многим понятиям природных видов, таким как вода, которое требует соответствующей связи с водой. Опять же, чистый мыслитель мог бы иметь дескриптивное понятие, которое выделяет Обаму как человека с такими-то характеристиками (для соответствующих характеристик, которые чистый мыслитель мог бы постичь), или которое выделяет воду как субстанцию с такими-то характеристиками вокруг нас. Такое дескриптивное понятие могло бы выполнять некоторые функции сингулярного понятия, но, возможно, не все из них.

На мой взгляд, чистые мыслители были бы преимущественно структуралистскими мыслителями, по крайней мере в том, что касается внементальной реальности. Здесь структурные понятия включают логические и математические понятия наряду с метафизическими, каузальными и семантическими понятиями. Чистые мыслители смогут рассматривать структурные гипотезы о внешнем мире, подобные тем гипотезам, которые выдвигает наука согласно структурному реализму. Как мы видели, они смогут рассматривать структурные гипотезы о цветах, таких как краснота. Но они не смогут обладать неструктурными понятиями, такими как полноценное понятие красноты у Мэри, когда она выходит из комнаты.

Я не предлагаю позитивную теорию мыслей и их содержания в этой статье. Но общая картина здесь согласуется с двухуровневой инферециалистской картиной, разработанной в моей работе «Inferentialism, Australian-Style»⁸. Согласно этой картине, у обычных людей существует первый уровень преимущественно эмпирических содержаний (например, связанных с цветом, пространством, сознанием и т. д.), в значительной степени происходящих из знакомства с опытом, и второй уровень более абстрактных структурных содержаний (например, связанных с логикой ^[13], математикой, метафизикой, причинностью и т. д.), в значительной степени происходящих из внутренней психологической роли, которую играют понятия. У чистого мыслителя первый уровень, основанный на знакомстве, по большей части отсутствует (за исключением, возможно, понятия сознания и связанных когнитивных состояний), но второй структурный уровень присутствует. Эта схема позволяет естественно ожидать, что чистые мыслители будут преимущественно структуралистскими мыслителями.

(8) Альтернативный концептуально-ролевой/инферециалистский подход к значению в языковых моделях см. в Piantadosi and Hill, “Meaning without Reference in Large Language Models.” Пиантадози и Хилл предлагают концептуально-ролевое содержание в качестве альтернативы референциальному или истинностно-условному содержанию. Напротив, инферентивно обоснованное содержание, которое я приписываю чистым мыслителям, является полностью истинностно-условным.

Чистые мыслители/говорящие мыслители и LLM

Как наше обсуждение чистых мыслителей применимо к системам ИИ? Оно показывает, что само по себе отсутствие сенсорных способностей в системе ИИ не означает, что система не способна мыслить или понимать. Отсутствие сенсорных способностей может накладывать определенные ограничения на мышление, но не исключает его полностью. Если бы мы создали «чистую» систему ИИ, не имеющую входных/выходных связей с миром, одно лишь отсутствие таких связей не помешало бы ей мыслить и понимать весьма многое: от математики до философии и спекулятивных научных гипотез о реальности. Разумеется, могут существовать и другие факторы, полностью исключающие мышление и понимание в системах ИИ, но отсутствие сенсорного обоснования к ним не относится.

С большими языковыми моделями дело обстоит сложнее. Как мы видели, их способности превосходят способности чистых мыслителей по крайней мере в одном важном отношении: они обладают развитой системой ввода-вывода, принимая текстовые входные данные и производя текстовые выходные данные.

Считается ли текстовый ввод в языковой модели чувством? Это зависит от того, как определять чувства. Если чувство — это просто система ввода, то LLM обладают чувствами и, следовательно, не являются чистыми мыслителями. Если же чувство требует особого рода богатого сенсорного переживания или, возможно, особого рода аналоговой или иконической репрезентации, то можно утверждать, что у LLM нет чувств. Это оставило бы возможность считать их чистыми мыслителями, хотя их несенсорные способности к приему информации сделали бы их совершенно непохожими на парадигмальных чистых мыслителей, рассмотренных в предыдущем разделе. Наконец, согласно нашему официальному рабочему определению, где сенсорная способность требует наличия хотя бы одного из трех факторов (входные данные, сенсорное переживание, аналоговая/иконическая репрезентация), текстовый ввод будет считаться чувством, и поэтому LLM не будут считаться чистыми мыслителями.

При любом из этих подходов к пониманию чувств большие языковые модели не вполне эквивалентны парадигмальным чистым мыслителям, описанным в предыдущем разделе. Возможно, наилучшей аналогией для LLM является не чистый мыслитель, а чистый мыслитель/говорящий/понимающий (или, для краткости, чистый мыслитель/говорящий): чистый мыслитель, наделенный способностью понимать входные данные на естественном языке и производить речевые высказывания в качестве выходных данных. Чистый мыслитель/говорящий лишен зрения, слуха ^[14] и других парадигмальных чувств. Его лингвистические входные данные воспринимаются не через зрение, слух или осязание, а посредством некоторой формы дискретного или цифрового механизма ввода (как в случае с LLM) или, возможно, посредством некой формы лингвистической телепатии ^[15]. Как и в случае с LLM, чистый мыслитель/говорящий может как обладать чувствами, так и не обладать ими вовсе, в зависимости от того, как понимать слово «чувство», но в любом случае чистые мыслители/говорящие лишены сенсорных способностей, выходящих за рамки языка.

Я не утверждаю, что языковые модели фактически являются чистыми мыслителями/говорящими. Это зависело бы от множества сложных вопросов о том, способны ли языковые модели мыслить, говорить и понимать. Вместо этого, как и в случае с чистыми мыслителями, я исследую способности чистых мыслителей/говорящих (которые не обязательно должны быть языковыми моделями), чтобы понять, какие ограничения может наложить отсутствие сенсорных способностей, помимо языковых, на способность мыслить и понимать. Если чистые мыслители/говорящие возможны, то отсутствие сенсорных способностей, помимо языковых, не означает, что система не способна мыслить или понимать.

Как и чистые мыслители, чистые мыслители/говорящие представляются prima facie мыслимыми, и нет явных опровергающих факторов против их возможности. Чистые мыслители/говорящие будут обладать по меньшей мере теми способностями, которые мы приписали чистым мыслителям, наряду со многими способностями, которых у чистых мыслителей нет. Для начала, они обладают способностью производить и понимать язык. Они также будут иметь множество социальных, когнитивных и эпистемических способностей, которых лишены чистые мыслители, но которые облегчаются использованием языка.

Чистые мыслители/говорящие могут правдоподобно использовать лингвистические входные данные, чтобы узнавать многое о мире. Если кто-то скажет им: «Я нахожусь в сознании», чистый мыслитель/говорящий сможет использовать это свидетельство, чтобы узнать по крайней мере то, что он получает входные данные «Я нахожусь в сознании». При наличии достаточного количества паттернов они также узнают о закономерностях в своих входных данных и смогут использовать абдукцию для формирования теорий о мире, порождающем эти входные данные. В зависимости от того, как работает эпистемология свидетельства, они также могут узнать, что кто-то другой находится в сознании. Аналогичным образом они могут узнать о математических результатах и научных законах посредством свидетельства. Точно так же они могут узнать многие социальные и исторические факты о мире, по крайней мере, если они сформулированы в широких структурных терминах.

Чистый мыслитель/говорящий также может использовать язык для приобретения гораздо более широкого класса понятий, чем просто чистый мыслитель. Например, получив такие входные данные, как «Обама был президентом США с января 2009 по 2017 год», «Обама родом с Гавайев» и т. д., чистый мыслитель/говорящий может начать использовать термин «Обама» и действительно мыслить об Обаме. Это параллельно тому, как мы приобретаем многие сингулярные понятия, возможно, в разговоре или из чтения газетных статей. Правдоподобно, что это может привести к тому, что у чистого мыслителя/говорящего появится множество сингулярных понятий, таких как Обама, понятий природных видов, таких как вода, и так далее.

Будут и некоторые ограничения. В отсутствие сенсорных способностей чистый мыслитель/говорящий всё равно не сможет полностью овладеть сенсорными понятиями, такими как красный. Как и Мэри в своей черно-белой комнате, чистый мыслитель/говорящий может усвоить слово «красный» и грамотно использовать его в разговоре, но это будет включать тот вид частичного понимания, который обеспечивается разделением лингвистического труда и лингвистической отсылкой. У чистого мыслителя/говорящего всё равно не будет того полноценного сенсорного понимания понятия, которое есть у пользователя с цветовым зрением. Нечто подобное относится и к другим сенсорным понятиям, к понятиям телесного действия и, возможно, к пространственным понятиям.

Что касается демонстративов (тот, этот), то у чистых мыслителей/говорящих будут отсутствовать традиционные перцептивные демонстративы, но они смогут по крайней мере использовать демонстративы для лингвистических входных данных. Они также могли бы, возможно, приобрести анафорические демонстративные понятия, паразитирующие на перцептивном демонстративе другого говорящего.

Говорящий 1: «Тот человек [перцептивно] голоден»;

Чистый мыслитель/говорящий: «Хорошо, тот человек [анафорически] голоден».

В этих случаях происходит следующее: сам язык включает в себя своего рода каузальное обоснование в окружающей среде. Когда используется понятие Обама, это отчасти обусловлено использованием лингвистического токена «Обама», который сам по себе каузально восходит частично к индивидууму Обаме. То же самое относится к воде и к демонстративным понятиям. Здесь языковое сообщество обеспечивает каузальную связь между мыслью и средой, достаточную для обеспечения референции. То же самое вполне может быть верно и для языковых моделей (см. Манделькерн и Линцен, «Do Language Models Refer?»).

Мы могли бы даже рассмотреть случай «Земли двойников» с двумя физически идентичными чистыми мыслителями/говорящими на Земле и Земле двойников, обрабатывающими и производящими токены «вода» и мыслящими соответствующие мысли. Чистый мыслитель/говорящий на Земле будет относиться к H₂O, а чистый мыслитель/говорящий на Земле двойников — к XYZ. В принципе, если языковые модели вообще способны осуществлять референцию, нет никаких очевидных причин, по которым их референты не могли бы зависеть от окружающей среды подобным образом.

Всё это показывает, что использование языка позволяет чистым мыслителям/говорящим знать многое из того, чего не могут знать чистые мыслители, а также мыслить и понимать многое из того, чего не может чистый мыслитель. Чистые мыслители/говорящие могут оставаться структуралистскими мыслителями на определенном уровне, возможно, без полного эмпирического понимания сенсорных понятий, таких как краснота. Но они могут знать очень многое о мире и могут прямо мыслить о вещах в мире и ссылаться на них.

Могут ли большие языковые модели мыслить?

К чему всё это приводит по отношению к большим языковым моделям? Я не доказывал напрямую, что большие языковые модели способны мыслить или понимать. Существует множество аргументов против мышления и понимания в системах ИИ, от гёделевских аргументов до аргументов о том, что мышление требует биологической основы, которые я не рассматривал. Есть также аргументы конкретно против мышления и понимания в LLM: от аргументов о том, что LLM лишены сознания или коммуникативного намерения, до аргументов о том, что они являются «стохастическими попугаями». Все эти аргументы требуют отдельного рассмотрения⁹.

(9) См. Penrose, Shadows of the Mind (гёделевские аргументы); Block, “Troubles with Functionalism” (биология); Bender and Koller, “Climbing Towards NLU” (коммуникативное намерение); Chalmers, “Could a Large Language Model Be Conscious?” (сознание); Bender et al., “On the Dangers of Stochastic Parrots” (стохастические попугаи).

Тем не менее, я опроверг один аргумент против мышления и понимания в LLM: аргумент от сенсорного обоснования. Я доказал, что отсутствие (неязыковых) сенсорных способностей в больших языковых моделях само по себе не является препятствием для их мышления или понимания. Если я прав, то стандартный аргумент об обосновании против мышления и понимания LLM, приведенный в начале этой статьи, несостоятелен. Первая предпосылка (LLM лишены сенсорных способностей) может быть ложной, по крайней мере, если мы считаем лингвистические входные данные в LLM сенсорной способностью. Вторая предпосылка (подлинное мышление требует сенсорных способностей) еще более явно ложна: наше исследование чистых мыслителей показало, что подлинное мышление не требует сенсорных способностей.

Кроме того, наше обсуждение чистых мыслителей/говорящих также показало, что подлинное понимание не требует сенсорных способностей, выходящих за пределы тех, что необходимы для лингвистических входных данных. В результате аргумент об обосновании не является убедительной причиной отрицать, что LLM способны мыслить или понимать.

Аналогичным образом, мы увидели, что чистые мыслители/говорящие могут без труда мыслить о внешних сущностях и ссылаться на них. Следовательно, аргумент об обосновании не является веской причиной полагать, что LLM не могут мыслить о вещах в мире или ссылаться на них.

Мой анализ действительно предполагает, что если LLM когда-либо смогут мыслить, то будут существовать некоторые ограничения на то, что они могут мыслить. Мы видели, что в отсутствие сенсорных способностей чистые мыслители и чистые мыслители/говорящие могут не полностью овладевать сенсорными понятиями, хотя они могут обладать этими понятиями по крайней мере частично посредством лингвистической отсылки или через структурные понятия. Если это так, то LLM, способные мыслить, но лишенные сенсорных способностей, окажутся в том же положении.

Конечно, также возможно расширить LLM за счет добавления квази-сенсорных способностей. Мультимодальные LLM обрабатывают изображения и аудиоданные, которые выполняют некоторые функции зрительных и слуховых входных данных соответственно. Считаются ли эти способности чувствами? Как обычно, это зависит от того, какие факторы мы требуем для чувства. Входные данные из окружающей среды? Файлы изображений и аудио, безусловно, включают их, хотя это мало что меняет, поскольку чистые LLM уже имеют входные данные. Аналоговая репрезентация? В стандартной форме файлы изображений включают цифровую репрезентацию. Сенсорное переживание? Это далеко не очевидно и отчасти зависит от вопроса о том, обладают ли LLM вообще сознанием. Но если мультимодальные LLM действительно обладают способностью к сенсорному переживанию, в отличие от чистых LLM, это может позволить им полностью обладать сенсорными понятиями (такими как понятие красноты), которыми чистая LLM обладать не может.

Усиливает ли ощущение мышление?

Даже если мышление не требует ощущения, усиливает ли ощущение мышление? То есть, улучшают ли сенсорные способности когнитивные способности в смысле повышения производительности в когнитивных задачах, даже если эти задачи не связаны непосредственно с сенсорной областью? У людей ответ, по-видимому, положителен. Использование зрительных образов иногда может улучшить выполнение математических задач, а зрительная память ^[16], безусловно, может повысить эффективность выполнения мнемонических задач.

А как насчет языковых моделей? Повышает ли добавление мультимодальных способностей производительность в текстовых задачах, полностью заданных с помощью языка? Можно было бы ожидать положительного ответа хотя бы потому, что изображения могут передавать гораздо больше информации, чем текст («лучше один раз увидеть, чем сто раз услышать»). Однако на практике этот прирост оказывается удивительно небольшим. Например, GPT-4 существует в версии для чистого текста и в мультимодальной версии, и обе версии тестировались на различных стандартизированных тестах, таких как экзамены в юридические школы и тому подобное. Их результаты обычно были одинаковыми или очень близкими. Иногда мультимодальная версия была впереди, но ненамного. Небольшие преимущества мультимодальной версии вполне могут объясняться тем, что обучающие изображения предоставляют релевантную информацию, отсутствующую в соответствующем обучающем тексте.

Растущий объем эмпирических данных также свидетельствует о том, что языковые модели хорошо справляются даже с задачами, затрагивающими сенсорные области, и демонстрируют результаты, весьма схожие с результатами мультимодальных моделей. Например, исследования компьютерного лингвиста Элли Павлик и её коллег¹⁰ показывают, что когда языковая модель обучается на текстах о цветах или пространственных направлениях, она приобретает репрезентационное пространство для цветов или пространственных направлений, которое является почти изоморфным репрезентационному пространству, приобретенному мультимодальной моделью. Когда пространства почти изоморфны, можно ожидать, что и производительность будет схожей.

(10) Павлик, «Символы и заземление в больших языковых моделях» Pavlick, “Symbols and Grounding in Large Language Models”; Абду и др., «Могут ли языковые модели кодировать перцептивную структуру без заземления?» Abdou et al., “Can Language Models Encode Perceptual Structure Without Grounding?”; Патель и Павлик, «Отображение языковых моделей на заземленные концептуальные пространства» Patel and Pavlick, “Mapping Language Models to Grounded Conceptual Spaces.”

Здесь прослеживаются интересные связи с известной хайдеггерианской критикой ИИ Хьюберта Дрейфуса (1972) и феминистской критикой ИИ Элисон Адам (1995). Обе критики сосредоточены на важности воплощенного знания-как (embodied know-how) и на отсутствии этого знания у бестелесных систем ИИ. Что касается языковых моделей, мы видели, что чистые языковые модели лишены воплощенного знания-как, тогда как мультимодальные модели, управляющие телом, возможно, могут обладать формой воплощенного знания-как. В то же время недавние эмпирические работы показали, что удивительно легко взять репрезентации чистых LLM и адаптировать их (посредством краткого обучения) для использования в воплощенном действии в мультимодальной модели. Подобно тому, как мы обнаружили почти изоморфные пространства для цветов в чистых LLM и мультимодальных LLM, мы находим почти изоморфные пространства для действий.

Один из выводов заключается в том, что хотя чистые LLM обладают в лучшем случае своего рода знанием-что (knowledge-that) и лишены воплощенного знания-как, между их версией знания-что и версией знания-как мультимодальной модели нет огромной пропасти. Одна из интерпретаций состоит в том, что обширное текстовое обучение чистых LLM дает им большую часть хайдеггерианского фона, необходимого для знания-как воплощенного действия. Всё это говорит о том, что по крайней мере в этих системах глубокого обучения знание-что и знание-как тесно связаны.

Вернемся к вопросу о том, дают ли мультимодальные модели прирост производительности в текстовых задачах. Что если мы обеспечим, чтобы одна и та же информация предоставлялась как чистым языковым моделям, так и мультимодальным моделям, например, путем подробного текстового описания всех данных изображений мультимодальной модели и подачи их в чистую языковую модель? На априорных основаниях мы ожидали бы, что две модели будут работать одинаково, по крайней мере, если они достаточно мощные и имеют схожую архитектуру и размер. Перевод информации между форматами изображений и текста будет тривиальной задачей для мощной языковой модели, поэтому разница в форматах не должна существенно влиять на производительность.

Это указывает по крайней мере на один смысл: в языковых моделях ощущение не усиливает мышление, мультимодальная обработка не должна повышать производительность в текстовых задачах в достаточно мощных моделях, когда обучающая информация остается неизменной. Конечно, сохранение информации неизменной означает, что чистые языковые модели обучаются на обширных текстах о сенсорных процессах. Таким образом, косвенный вид сенсорного обоснования всё ещё играет роль в этих системах, но такой вид обоснования может присутствовать даже в чистой языковой модели. Более того, когда мы добавляем сенсорные входы и выходы к этим чистым языковым моделям, это может обеспечить сенсорное переживание и полные сенсорные понятия (по крайней мере, если эти модели вообще способны иметь переживания и понятия), но эти улучшения не обязательно должны повышать производительность при ответе на текстовые вопросы и в других когнитивных задачах.

Здесь уместна аналогия с Мэри в черно-белой комнате (которая обладает полным объективным знанием физического мира, но не имеет опыта восприятия красного цвета). Находясь в комнате, идеализированная версия Мэри может использовать свое полное физическое знание, чтобы отвечать на многие вопросы о красноте, несмотря на отсутствие цветового опыта. Когда она впервые покидает свою комнату, это дает ей новые переживания и новые понятия. Сможет ли она использовать их для ответов на вопросы, на которые не могла ответить раньше? Если Мэри — неидеальный человек, она, возможно, теперь сможет использовать свой опыт для ответов на вопросы о цветах, которые раньше были для неё трудными. Но если Мэри — идеальный разум, неясно, сможет ли она ответить на какие-либо новые вопросы, на которые она не могла бы уже ответить, используя свои знания внутри комнаты. В лучшем случае, возможно, её новые способности позволят ей отвечать на старые вопросы быстрее. Как и в случае с языковыми моделями, её новый сенсорный опыт и новые понятия не обязательно влекут за собой повышение производительности в когнитивных задачах.

Остается нерешенной проблема, возникающая из напряжения между сходством обработки в чистой LLM и мультимодальной LLM и сенсорными различиями. И чистые, и мультимодальные модели обрабатывают входные данные, состоящие из последовательностей двоичных чисел, и производят выходные данные той же формы. Происхождение последовательностей различается (текст, изображения), но их обработка может быть очень похожей. Мы уже видели, что данные изображений в принципе могут быть переведены в чистую LLM в виде текстового ввода, и мощная LLM может обрабатывать оба типа ввода одинаково хорошо.

С другой стороны, по крайней мере поверхностно, между чистыми и мультимодальными языковыми моделями существуют значительные сенсорные различия. Если мы допустим, что эти модели могут (в конечном итоге) иметь репрезентации, переживания и понятия вообще, то естественно полагать, что мультимодальные модели могут обладать сенсорными репрезентациями, сенсорными понятиями и, возможно, даже сенсорными переживаниями, недоступными чистым языковым моделям. Как согласовать эти различия со сходством в обработке? Почему столь тривиальная разница между обработкой файла изображения и обработкой файла «изображение-в-текст» должна приводить к различию в репрезентациях, переживаниях и понятиях?

У человека обработка изображений и языка принимает совершенно разные формы, поэтому неудивительно, что эти входные данные ассоциируются с разными формами репрезентации и опыта и, как следствие, с разными понятиями. В LLM, напротив, обработка этих входных данных гораздо более схожа, поэтому загадка становится острее.

Существует по крайней мере три возможных ответа:

(1) Ни мультимодальные LLM, ни чистые LLM не могут иметь сенсорных репрезентаций, переживаний или понятий.

(2) Чистые LLM (как и мультимодальные модели) могут иметь сенсорные репрезентации, переживания или понятия, по крайней мере, когда они обрабатывают соответствующие текстовые переводы файлов изображений.

(3) Мультимодальные LLM имеют сенсорные репрезентации, переживания или понятия, в то время как чистые LLM — нет, в силу различий, возникающих из разных функциональных ролей текста и изображений в этих системах.

Я оставлю это как открытый вопрос. Я предварительно склоняюсь ко второму варианту. Чистые LLM настолько хорошо обрабатывают текстовые версии файлов изображений, что это можно было бы считать своего рода ощущением. По крайней мере, эти способности к обработке текста настолько близки к способностям обработки изображений и к рассуждению, что не совсем ясно, следует ли классифицировать их как лингвистические, сенсорные или когнитивные. Возможно, неудивительно, что большие языковые модели начинают размывать границы между ощущением, мышлением и пониманием.

Благодарности

Благодарю слушателей конференции APA в Монреале, а также Университета Квебека в Монреале и Нью-Йоркского университета. За комментарии благодарю Натана Байса, Неда Блока, Джейка Браунинга, Кэмерона Бакнера, Сьюзен Кэри, Стевана Харнада, Ананди Хаттиангади, Мартина Лина, Таля Линцена, Мэтта Манделькерна, Матиаса Мишеля, Адама Паутца, Пера Сундстрёма и Шону Уинрам. За помощь в исторических аспектах благодарю Питера Адамсона, Макса Каппуччо, Виктора Кастона, Беко Копенхавер, Кристиана Косеру, Кеоту Филдса, Дона Гаррета, Софи Грейс, Стивена Хорста, Энн Джейкобсон, Аньку Яуерниг, Чада Кидда, Джонатана Крамника, Джеймса Крайнеса, Беатрис Лонгенесс, Джейка Макналти, Стивена Менна, Джессику Мосс, Эллиота Пола, Льюиса Пауэлла, Наоми Шеман, Тобиаса Шлихта, Эрика Шлисера, Лизу Шапиро, Карстена Струля, Кристину Ван Дайк и Чарльза Вулфа.

Библиография

Абду М., А. Кулмизев, Х. Хершхорвич, С. Фрэнк, Э. Павлик, А. Сёгаард. «Могут ли языковые модели кодировать перцептивную структуру без заземления? Тематическое исследование на примере цвета». В материалах 25-й Конференции по вычислительным методам в обучении естественному языку, 109–32. Онлайн, Ассоциация вычислительной лингвистики, 2021. / Abdou, M., A. Kulmizev, H. Hershcovich, S. Frank, E. Pavlick, A. Søgaard. “Can Language Models Encode Perceptual Structure Without Grounding? A Case Study in Color.” In Proceedings of the 25th Conference on Computational Natural Language Learning, 109–32. Online, Association for Computational Linguistics, 2021.

Адам А. Искусственное познание: гендер и мыслящая машина. Лондон: Routledge, 1998. / Adam, A. Artificial Knowing: Gender and the Thinking Machine. London: Routledge, 1998.

Барсалу Л. У. «Перцептивные символьные системы». Behavioral and Brain Sciences 22 (1999): 577–660. / Barsalou, L. W. “Perceptual Symbol Systems.” Behavioral and Brain Sciences 22(1999): 577–660.

Барсалу Л. «О необходимости оставаться на твердой почве и избегать утопических тупиков». Psychonomic Bulletin and Review 23 (2016): 1122–42. / Barsalou, L. “On Staying Grounded and Avoiding Quixotic Dead Ends.” Psychonomic Bulletin and Review 23(2016): 1122–42.

Бендер Э. М. и А. Коллер. «Восхождение к пониманию естественного языка: о значении, форме и понимании в эпоху данных». В материалах 58-го ежегодного собрания Ассоциации вычислительной лингвистики, 5185–98. Онлайн. Ассоциация вычислительной лингвистики, 2020. / Bender, E. M., and A. Koller. “Climbing Towards NLU: On Meaning, Form, and Understanding in the Age of Data.” In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 5185–98. Online. Association for Computational Linguistics, 2020.

Бендер Э. М., Т. Гебру, А. Макмиллан и С. Шмитчелл. «Об опасностях стохастических попугаев: могут ли языковые модели быть слишком большими?». В материалах конференции ACM 2021 года по справедливости, подотчетности и прозрачности, 610–23. Март 2021. / Bender, E. M., T. Gebru, A. McMillan, and S. Schmitchell. “On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?” In Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, 610–23. March 2021.

Блок Н. «Проблемы с функционализмом». Minnesota Studies in the Philosophy of Science 9 (1978): 261–325. / Block, N. “Troubles with Functionalism.” Minnesota Studies in the Philosophy of Science 9(1978): 261–325.

Браунинг Дж. и Я. ЛеКун. «ИИ и пределы языка». Noema, 23 августа 2022 г. / Browning, J., and Y. LeCun. “AI and the Limits of Language.” Noema, August 23, 2022.

Бердж Т. «Индивидуализм и ментальное». Midwest Studies in Philosophy 4 (1979): 73–122. / Burge, T. “Individualism and the Mental.” Midwest Studies in Philosophy 4(1979): 73–122.

Чалмерс Д. Дж. «Восприятие и грехопадение из Эдема». В книге «Перцептивный опыт», под ред. Т. Гендлер и Дж. Хоторна. Оксфорд: Oxford University Press, 2006. / Chalmers, D. J. “Perception and the Fall from Eden.” In Perceptual Experience, edited by T. Gendler and J. Hawthorne. Oxford: Oxford University Press, 2006.

Чалмерс Д. Дж. «Критика чистого мышления». Слайды, представленные на конференции «Сознание и мышление» в Дубровнике, август 2008 г. http://consc.net/slides/thought.pdf ^[17]. / Chalmers, D. J. “The Critique of Pure Thought.” Slides presented at conference on “Consciousness and Thought” in Dubrovnik, August 2008. http://consc.net/slides/thought.pdf ^[17].

Чалмерс Д. Дж. «Инференциализм по-австралийски». Proceedings and Addresses of the American Philosophical Association 92 (2021): 184–214. / Chalmers, D. J. “Inferentialism, Australian Style.” Proceedings and Addresses of the American Philosophical Association 92(2021): 184–214.

Чалмерс Д. Дж. «Может ли большая языковая модель быть сознательной?». Boston Review (2023). / Chalmers, D. J. “Could a Large Language Model Be Conscious?” Boston Review(2023).

Кларк А. и Д. Дж. Чалмерс. «Расширенный разум». Analysis 58, № 1 (1998): 7–19. / Clark, A., and D. J. Chalmers. “The Extended Mind.” Analysis 58, no. 1(1998): 7–19.

Дрейфус Х. Л. На что не способны компьютеры: критика искусственного разума. Нью-Йорк: Harper and Row, 1972. / Dreyfus, H. L. What Computers Can’t Do: A Critique of Artificial Reason. New York: Harper and Row, 1972.

Галлахер С. Воплощенные и энактивные подходы к познанию. Cambridge University Press, 2023. / Gallagher, S. Embodied and Enactive Approaches to Cognition. Cambridge University Press, 2023.

Гудман Л. Авиценна. Лондон и Нью-Йорк: Routledge, 1992. / Goodman, L. Avicenna. London and New York: Routledge, 1992.

Харнад С. «Проблема заземления символов». Physica D 42 (1990): 335–46. / Harnad, S. “The Symbol Grounding Problem.” Physica D 42(1990): 335–46.

Кауп Б., Р. Ульрих, К. Баузенхарт, Д. Брайс, М. Буц, Д. Дигнат, К. Дудчиг, В. Франк, К. Фридрих, К. Гаврилов, Й. Хеллер, М. Хафф, М. Хюттер, М. Янчик, Х. Лойтхольд, Х. Маллот, Х. Нюрк, М. Рамскар, Н. Саид, Й. Свальди и Х. Вонг. «Модальное и амодальное познание: всеобъемлющий принцип в различных областях психологии». Psychological Research (2023). / Kaup, B., R. Ulrich, K. Bausenhart, D. Bryce, M. Butz, D. Diagnath, C. Dudschig, V. Frank, C. Friedrich, C. Gawrilow, J. Heller, M. Huff, M. Hütter, M. Janczyk, H. Leuthold, H. Mallot, H. Nürk, M. Ramscar, N. Said, J. Svaldi, and H. Wong. “Modal and Amodal Cognition: An Overarching Principle in Various Domains of Psychology.” Psychological Research(2023).

Хатин-Саде О., З. Эскандари, С. Сервера-Торрес, С. Руис Фернандес, Р. Фарзи и Ф. Мармолехо-Рамос. «Сильные версии воплощенного познания: три стоящих вызова». Psychology and Neuroscience 14 (2021): 16–33. / Khatin-Zadeh, O., Z. Eskandari, S. Cervera-Torres, S. Ruiz Fernández, R. Farzi, and F. Marmolejo-Ramos. “The Strong Versions of Embodied Cognition: Three Challenges Faced.” Psychology and Neuroscience 14(2021): 16–33.

Лейк Б. и Г. Мерфи. «Значение слова в разуме и машинах». Psychological Review 130 (2023): 401–31. / Lake, B., and G. Murphy. “Word Meaning in Minds and Machines.” Psychological Review 130(2023): 401–31.

Махери Э. «Концептуальный эмпиризм: методологическая критика». Cognition 104 (2006): 19–46. / Machery, E. “Concept Empiricism: A Methodological Critique.” Cognition 104(2006): 19–46.

Манделькерн М. и Т. Линцен. «Ссылаются ли языковые модели?». 2023. arXiv:2308.05576. / Mandelkern, M., and Linzen, T. “Do Language Models Refer?” 2023. arXiv:2308.05576.

Патель Р. и Э. Павлик. «Отображение языковых моделей на заземленные концептуальные пространства». В материалах 40-й Международной конференции по машинному обучению, Гонолулу, Гавайи, 2022. / Patel, R., and E. Pavlick. “Mapping Language Models to Grounded Conceptual Spaces.” In Proceedings of the 40th International Conference on Machine Learning, Honolulu, Hawaii, 2022.

Павлик Э. «Символы и заземление в больших языковых моделях». В Philosophical Transactions of the Royal Society A 381, № 2251 (2023). / Pavlick, E. “Symbols and Grounding in Large Language Models.” In Philosophical Transactions of the Royal Society A 381, no. 2251(2023).

Пенроуз Р. Тени разума. Oxford University Press, 1993. / Penrose, R. Shadows of the Mind. Oxford University Press, 1993.

Пиантадози С. Т. и Ф. Хилл. «Значение без референции в больших языковых моделях». 2022. arXiv:2208.02957. / Piantadosi, S. T., and F. Hill. “Meaning without Reference in Large Language Models.” 2022. arXiv:2208.02957.

Принц Дж. Дж. Наполнение разума: концепты и их перцептивная основа. Кембридж: MIT Press, 2004. / Prinz, J. J. Furnishing the Mind: Concepts and their Perceptual Basis. Cambridge: MIT Press, 2004.

Патнэм Х. «Значение слова “значение”». Minnesota Studies in the Philosophy of Science 7 (1975): 131–93. / Putnam, H. “The Meaning of ‘Meaning’.” Minnesota Studies in the Philosophy of Science 7(1975): 131–93.

Рахман Ф. «О душе» Авиценны: являющаяся психологической частью «Книги исцеления». Durham University Press, 1959. / Rahman, F. Avicenna’s De Anima: Being the Psychological Part of the Kitāb Al-Shifā. Durham University Press, 1959.

Шапиро Л. Воплощенное познание (второе издание). Лондон и Нью-Йорк: Routledge, 2019. / Shapiro, L. Embodied Cognition(second edition). London and New York: Routledge, 2019.

Тойванен Дж. «Судьба летающего человека: средневековая рецепция мысленного эксперимента Авиценны». Oxford Studies in Medieval Philosophy 3 (2015): 64–98. / Toivanen, J. “The Fate of the Flying Man: Medieval Reception of Avicenna’s Thought Experiment.” Oxford Studies in Medieval Philosophy 3(2015): 64–98.

Унгер П. «Об опыте и развитии понимания». American Philosophical Quarterly 3 (1966): 48–56. / Unger, P. “On Experience and the Development of the Understanding.” American Philosophical Quarterly 3(1966): 48–56.

Уилсон К. «В чем важность шестого размышления Декарта?». Philosophica 76, № 2 (2005). / Wilson, C. “What Is the Importance of Descartes’ Meditation Six?” Philosophica 76, no. 2(2005).