Демон Сциларда: Энтропия и информация

В предыдущей статье были рассмотрены взгляды Эдвина Джейнса, который обосновывал субъективность энтропии на базе субъективной интерпретации вероятности. В этой статье рассмотрим другую линию обсуждения, связанную с мысленным экспериментом Лео Сциларда, предложенном в 1929 году. Правильное произношение Leo Szilard (1898 – 1964) – это Лео Силард, но я буду использовать старую транскрипцию, которая использована во многих учебниках.

В статье рассмотрена история появления мысленного эксперимента Сциларда: демон Максвелла, эксперименты с броуновским движением и попытки создания вечного двигателя второго рода, работы Мариана Смолуховского. После этого представлены идеи послевоенной физики, связанные с теорией информации Шеннона и появлением кибернетики. Предполагалось, что мысленный эксперимент Сциларда связывает термодинамическую энтропию и информацию и тем самым позволяет включить информацию в физическую теорию. Рассмотрены работы Леона Бриллюэна и появление термодинамики вычислений – работы Чарльза Беннета на основе принципа Рольфа Ландауэра.

• Демон Максвелла и броуновское движение

• Смолуховский: натурализация демона Максвелла

• Демон Сциларда

• От кибернетики к статистической механике

• Бриллюэн, Ландауэр и термодинамика вычислений

• Обсуждение

• Список литературы

Демон Максвелла и броуновское движение

Максвелл в 1867 году в письме Питеру Тэйту описал устройство, содержащее вымышленное крошечное существо, которое позднее Уильям Томсон (Кельвин) окрестил демоном. Целью Максвелла являлось доказательство невозможности обоснования второго закона на уровне законов механики. Максвелл выразил это обстоятельство в явной форме в письме Джону Стретту (лорду Рэлею) в 1870 году, в котором Максвелл подчеркнул симметрию законов механики во времени. Таким образом, при выполнении закона сохране­ния энергии вполне возможен перенос теплоты от холодного тела к горячему путем обращения времени в законах механики. Мысленный экспери­мент с демоном делал этот аргумент более наглядным.

В публичном изложении демон Максвелла появился в 1871 году в книге ‘Теория теплоты‘. Максвелл удовлетворился представлением о статистической роли второго закона без проработки деталей. Правда, в 1878 году в статье ‘Диффузия‘ для энциклопедии Британника Максвелл связал проблему с человеческим восприятием:

‘Только существу, находящемуся на промежуточной стадии, которое может овладеть некоторыми формами энергии, в то время как другие ускользают от его внимания, кажется, что энергия неизбежно переходит из доступного состояния в рассеянное.’

Имеется в виду, что для существа, которое могло бы следить за движением молекул (демон Максвелла), такой проблемы бы не было:

‘понятие рассеянной энергии не могло возникнуть … у того, кто мог бы проследить движение каждой молекулы и уловить его в нужный момент.’

Как бы то ни было, статистическое обоснование Людвига Больцмана второго закона в 1877 году подтвердило правоту Максвелла. При этом в 19-м веке вопрос борьбы с демоном Максвелла не поднимался – второй закон имеет статистическую природу, поэтому с необходимостью есть вероятность его нарушения.

Ситуация с демоном Максвелла поменялась в ходе изучения броуновского движения. После появления теории, разработанной Смолуховским, Эйнштейном и Ланжевеном, были проведены эксперименты, которые подтвердили наличие флуктуаций. По ходу изучения броуновского движения в начале 20-го века появились голоса о возмож­ности вечного двигателя второго рода на основе флуктуаций. Приведу цитату из книги Гельфера с описанием состояния идей того времени:

‘относительно формулировки Томсона («вечный двигатель второго рода невозможен») возникли дебаты. Некоторые физики, такие как Липпман, Сведберг, Оствальд, полагали, что флуктуационные явления позволяют, по крайней мере принципиально, поставить вопрос об осуществлении вечного двигателя второго рода. Казалось, что максвелловская идея о «демонах», сортирующих молекулы по скоростям, находит теоретическое обоснование в броуновском движении. В свое время еще Гуи высказал мысль, что если бы удалось каким-либо способом упорядочить броуновское движение, то это открыло бы возможность получения даровой энергии. Если французский физик высказал эту мысль как гипотетическое предположение, то Оствальд в 1906 г. прямо говорит о возможности опровержения второго начала:

«Представляется нам, что «демоны» Максвелла, которых в молекулярной области можно было бы считать безвредными, здесь, в конечной области видимых явлений, имеют открытое поле для экспериментального опровержения второго начала».

Были даже предложены конкретные схемы осуществления вечного двигателя второго рода, большинство которых основывалось на том или ином варианте максвелловских «демонов».’

Смолуховский: натурализация демона Максвелла

Рассмотрим позицию Мариана Смолуховского, выраженную в статьях ‘Доступные наблюдению молекулярные явления, противоречащие обычной термодинамике‘ (1912) и ‘Границы справедливости второго начала термодинамики‘ (1914). В классической термодинамике флуктуации невозможны и таким образом броуновское движение и флуктуации противоречат второму закону термодинамики.

Однако, после констатации этого факта Смолуховский проводит натурализацию демона Максвелла. Демон объявляется устройством, которое подчиняется законам физики и на которое распространяется наличие флуктуаций. В этих рамках Смолуховский показывает проблематичность предложенных вечных двигателей второго рода – наличие флуктуаций в демоне Максвелла делает невозможным продолжительную работу этих двигателей. Для сохранения второго закона требуется только несколько изменить формулировку:

‘Нельзя осуществить никакого автоматического приспособления, которое продолжительное время производило бы полезную работу за счет теплоты более низкой температуры.’

Единственную возможность создания вечного двигателя второго рода Смолуховский связывает с чистым интеллектом (из статьи 1914 года):

‘Таким образом, perpeluum mobile возможен, если в качестве некоторого рода deus ex machina понимают человека, экспериментирующего в соответствии с обычными методами физики, который, опираясь на непрерывное точное исследование мгновенного состояния природы, может в любой момент привести в ход или прервать макроскопические процессы без совершения работы. Так что вовсе нет нужды в том, чтобы он обладал способностью максвелловского демона, который задерживает отдельные молекулы, но все же в упомянутых выше пунктах совершенно отличается от действительно живого существа. Потому что выполнение какого-либо физического процесса в результате деятельности как сенсорной, так и двигательной нервной системы, всегда связано с обесцениванием энергии, не говоря уже о том, что и самое существование живого связано с непрерывным рассеянием энергии.’

В следующем параграфе Смолуховский оставляет место некоторому сомнению:

‘Итак, если учесть эти обстоятельства, то представляется очень сомнительным, что реальные живые существа могут длительно, или по крайней мере регулярно, производить работу за счет теплоты тела более низкой температуры. Правда, наше незнание жизненных процессов не позволяет дать определенный ответ.’

Но затем последующий параграф начинается с утверждения: ‘Затронутые в конце вопросы уже выходят за рамки собственно физики.’ Отмечу, что решение Смолуховского было успешным. За прошедшее время не удалось создать вечный двигатель второго рода, работающий продолжительное время. Приведу цитату из книги 2005 года с выразительным названием ‘Вызовы второму началу термодинамики‘; в ней разбирается много предложений о вечном двигателе второго рода:

‘В этой книге мы постараемся внести ясность в этот вопрос; хотя второй закон потенциально может быть нарушен, на практике он не нарушался.’

Демон Сциларда

В 1925 году Сцилард написал статью, посвященную созданию феноменологической теории флуктуаций. Описание развития этих идей Сциларда можно найти в книге Ю. Г. Рудого, ‘Математическая структура равновесной термодинамики и статистической механики‘. Предполагаемые устройства, рассматриваемые в работах Смолуховского и попадающие под действие формализма флуктуаций Сциларда, можно назвать механическими демонами, поскольку в них отсутствовала информационная часть в явном виде.

По всей видимости это обстоятельство послужило толчком к статье 1929 года ‘Об уменьшении энтропии в термодинамической системе в результате вмешательства разумных существ‘. Приведу пару предложений из резюме статьи:

‘Исследуются обстоятельства, дающие на первый взгляд возможность сконструировать вечный двигатель второго рода, путем разрешения существу с интеллектом производить действия над термодинамической системой. Такие существа при проведении измерений вызывают поведение системы, существенно отличающее ее от механической системы, предоставленной самой себе.’

Для обсуждения этого вопроса Сцилард придумал мысленный эксперимент, повлиявший на развитие физики во второй половине 20-го века. Сцилард уменьшил рассматриваемую систему до одной молекулы и ввел в рассмотрение существо, которое после обнаружения нахождения молекулы в левой или правой части объема использует эту информацию для получения полезной работы. В ходе одного цикла управляемой подсистемы происходит превращение теплоты в работу и уменьшение энтропии подсистемы. Тем самым обыгры­валась возможность использования информации о наличии флуктуации для получения работы.

Механический демон превращается в информационный – измерение, переработка информации, действие; демон Максвелла становится демоном Сциларда. Рассмотрение Сциларда предполагало, что второй закон термодинамики в ходе такого процесса не нарушается за счет увеличения энтропии при проведении существом измерения о положении молекулы. Тем самым термодинамическая энтропия связывалась с процессом получения инфор­мации о системе в ходе измерения.

От кибернетики к статистической механике

Как уже говорилось в предыдущей статье про Джейнса, выражение для информационной энтропии Шеннона выглядит аналогичным статистической энтро­пии Гиббса. В сочетании с появлением кибернетики это дало толчок к отождествлению термодинамической и информационной энтропии. Три человека сыграли большую роль в распро­странении идей о связи энтропии и информации: Норберт Винер, Джон фон Нейман и Уоррен Уивер (см. диссертацию Хавьера Анта ‘Исторические и концептуальные основы информационной физики‘).

В 1948 году во влиятельной книге ‘Кибернетика‘ Винер соединил концепции информации и энтропии. Кибернетический агент использовал полученную информацию для предсказания поведения системы, которое в свою очередь связывалось с порядком или беспорядком; предсказание поведения упорядоченной системы было более легким делом. Далее Винер отталкивался от ‘отрицательной энтропии’ Шрёдингера в книге ‘Что такое жизнь‘, а также от рассуждений химика Гильберта Льюиса (Gilbert Lewis), который еще в 1930 году утвер­ждал: ‘Увеличение энтропии всегда означает потерю информации, и ничего больше.’

Таким образом Винер ввел связь между информацией, которой обладает кибернетический агент, и энтропией системы, которой агент управляет:

‘Понятие количества информации очень естественно соотносится с классическим понятием статистической механики – энтропией. Точно так же, как количество информации в системе является мерой ее степени организованности, так и энтропия системы является мерой ее степени дезорганизации; и одно является просто отрицательным значением другого (…) Мы сказали, что количество информации, являющееся отрицательным логарифмом величины, которую мы можем рассматривать как вероятность, по сути, является отрицательной энтропией.’

Джон фон Нейман в 1932 году в книге ‘Математические основы квантовой механики‘ обсуждал решение, предложенное Лео Сцилардом при рассмотрении демона Максвелла. Фон Нейман считал, что такое решение позволяет объединить вместе физическое состояние системы и эпистемическое состояние агента. Возможно, что таким путем фон Нейман надеялся найти интерпретацию измерения в квантовой механике. Джон фон Нейман после появления работ Шеннона и Винера активно пропагандировал возможность сочетания формальной логики и статистической механики путем использования связи между информа­цией и энтропией. Авторитет фон Неймана в научных кругах способствовал распространению этой идеи.

Уоррен Уивер (Warren Weaver) работал вместе в Шенноном, но Уивер в отличие от Шеннона поставил задачей популяризацию теории информации Шеннона в виде, доступном для просвещенной публики. На этом пути он распространил значение информации в теории Шеннона до семантической и прагматической, а также связал информационную энтропию с термодинамической. Административные ресурсы Уивера обеспечили успех его предприятию.

Интересно отметить, что сам Шеннон занимал гораздо более осторожную позицию. В 1956 году он написал короткую заметку ‘Повальное увлечение‘ (Bandwagon), в которой призывал к осторожности в применении теории информации в областях, для которых она не предназначалось:

‘За последние несколько лет теория информации превратилась в своего рода бандвагон [повальное увлечение] от науки. Появившись на свет в качестве специального метода в теории связи, она заняла выдающееся место как в популярной, так и в научной литературе. Это можно объяснить отчасти ее связью с такими модными областями науки и техники, как кибернетика, теория автоматов, теория вычислительных машин, а отчасти новизной ее тематики. В результате всего этого значение теории информации было, возможно, преувеличено и раздуто до пределов, превышающих ее реальные достижения. Ученые различных специальностей, привлеченные поднятым шумом и перспективами новых направлений исследования, используют идеи теории информации при решении своих частных задач. Так, теория информации нашла применение в биологии, психологии, лингвистике, теоретической физике, экономике, теории организации производства и во многих других областях науки и техники. Короче говоря, сейчас теория информации, как модный опьяняющий напиток, кружит голову всем вокруг.’

Однако предостережение Шеннона не подействовало.

Бриллюэн, Ландауэр и термодинамика вычислений

Первым физиком, кто довел до конца объединение теории информации Шеннона и статистической механики, был Леон Бриллюэн (Lеon Brillouin, 1889-1969). В серии статей с 1951 года он провел анализ информационных демонов Максвелла, включая мысленный экспери­мент Сциларда, а в 1956 году вышла книга ‘Наука и теория информации‘.

Бриллюэн посчитал, что лучшим выражением деградации энергии будет служить отрица­тельное значение энтропии, которое он назвал негэнтропией. В то же время формально негэнтропия определена как отрицательное значение энтропии:

‘Негэнтропия (N = ‐S) представляет качество энергии и она должна всегда убывать.’

Далее Бриллюэн вводит негэнтропийный принцип информации. Он приравнивает изменение информации изменению числа состояний в уравнении Больцмана. Отсюда делается вывод:

‘связанная информация = убыванию энтропии S = увеличению негэнтропии N’

Формально рассмотрение Бриллюэна касалось только изменения энтропии, однако у него изменение энтропии иногда называ­лось изменением негэнтропии, а иногда полученной информацией.

Бриллюэн использовал негэнтропийный принцип информации для демонстрации роли измерений в демоне Сциларда. Бриллюэн посчитал, что умень­шение энтропии управляемой системы в ходе работы демона компенсируется увеличением энтропии общей системы, включая демона, в процессе измерения. Статьи и книга Бриллюэна в ходе последующего обсуждения привели к достижению консенсуса среди физиков на пару десятилетий. Получение новой информации при проведении измерений связано с измене­нием термодинамической энтропии и это считалось решением при рассмотрении демона Сциларда.

Параллельно велось обсуждение минимальных затрат, связанных с вычислениями. После завершения некоторых логических операций при вычислении невозможно вернуться в исходное состояние – такие логические операции назывались необратимыми. Рольф Ландауэр в 1961 году связал логическую необратимость с физической и проанали­зировал операцию записи одного бита в память. В этом процессе не происходит проверка состояния памяти, поскольку это потребовало бы дополнительных затрат. Тем самым операция записи бита является необратимой, поскольку после нее предыдущее содержание становится неизвестным. В результате Ландауэр предложил принцип, что такая операция обязана сопровождаться выделением минимального количества теплоты, связанного с изменением термодинамической энтропии.

В дальнейшем Чарльз Беннет (Charles Bennett, также транскрипция Беннетт) и другие показали возможность обратимых вычислений при использовании только обратимых логических операций. В обратимых вычислениях запись бита в память осталась единствен­ной логической необратимой операцией. В результате Беннет в начале 1980-х годов предложил новый анализ демона Сциларда; Беннет пришел к выводу, что измерение можно провести без изменения энтропии, а необходимое увеличение энтропии он связал с использова­нием памяти. Согласно Беннету демон должен был бы записать результат измерения в память, а в конце цикла для возвращения в исходное состояние необходима инициали­зация ячейки памяти. Новая интерпретация демона Сциларда победила, хотя потребовалось дополнительное обсуждение вопроса, почему предыдущее поколение физиков во главе с Бриллюэном совершило ошибку.

В конце 1980-х годов Войцех Зурек сделал заключительный аккорд в этой истории. Зурек сказал, что баланс энтропии по Беннету устанавливается только в конце процесса; поэтому Зурек указал на необходимость расширения анализа Беннета путем включения в него алгоритмической энтропии. Предполагалось, что демон Сциларда при выполнении задачи использует определенный алгоритм, основанный на обратимых вычислениях. Включение в анализ алгоритмической энтропии позволило утверждать, что баланс по энтропии поддер­живается постоянным в ходе всего процесса.

Обсуждение

Работы Джейнса и рассмотрение мысленного эксперимента Сциларда наводят на мысль, что энтропия каким-то образом связана с незнанием. Предполагается, что измерение увеличивает знание о изучаемой системе и в этом смысле измерение изменяет энтропию системы. Эти идеи распространились среди физиков и это обстоятельство затрудняет изучение статистической механики. Среди физиков существует широкий спектр мнений в вопросе, является ли энтропия объективной или субъективной, и в разных учебниках можно встретить самые разные утверждения.

Обсуждение об объективности энтропии велось с самого начала. Физики, связанные с экспериментальной работой в химической и инженерной термодинамике, подчеркивали, что исключение энтропии из обычных физических величин делает невозможным использование аппарата классической термодинамики и статистической механики для решения практических задач. В следующей статье я опишу борьбу за объективность энтропии со стороны физиков-теоретиков, которые озаботились проблемой объективности стрелы времени.

Пока только отмечу хорошие аргументы в статье Эрмана и Нортона ‘Экзорцист XIV: гнев демона Максвелла. Часть II. От Силарда до Ландауэра и далее‘ против интерпретации демона Сциларда как основы для рассмотрения инфор­мации в виде физической величины. Также приведу общие соображения. Термины информация и измерение появляются при попытке выхода за рамки механических демонов Максвелла, рассмотренных в работах Смолуховского. Предполагается усложнение системы с использованием электроники, но при этом анализ производится с инженерной точки зрения без учета реально протекающих физических процессов. При включении в анализ всех физических процессов в явном виде получается физическая система, для которой решение Смолуховского должно остаться в силе.

Правда, нельзя не отметить роль демона Сциларда как источника вдохновения для ряда поколений физиков. Эти идеи сыграли немалую роль в постановке экспериментов с броуновскими частицами в 21-м веке, для анализа которых потребовалось создание формализма стохастической термодина­мики. Созданные устройства напоминают исходную идею Сциларда, но затраты энергии на блок управления существенно превышают те крохи энергии, которые удается выиграть в самом устройства. В любом случае для содержательного обсуждения этих вопросов в настоящее время требуется переход на язык стохастической термодинамики.

Список литературы

Предыдущая статья: Эдвин Джейнс: Принцип максимума энтропии

Martin J. Klein, Maxwell, His Demon, and the Second Law of Thermodynamics: Maxwell saw the second law as statistical, illustrated this with his demon, but never developed its theory. American scientist 58, no. 1 (1970): 84-97.

Я. М. Гельфер, История и методология термодинамики и статистической физики, 2-е изд., 1981, Глава 12, Открытие и исследование броуновского движения. Дальнейшее развитие статистической теории Больцмана.

Мариан Смолуховский, Границы справедливости второго начала термодинамики (1914). Успехи физических наук 93, no. 12 (1967): 724-748.

John Earman and John D. Norton. EXORCIST XIV: the wrath of Maxwell’s demon. Part I. From Maxwell to Szilard. Studies In History and Philosophy of Science Part B: Studies In History and Philosophy of Modern Physics 29, no. 4 (1998): 435-471.

Vladislav Capek and Daniel P. Sheehan. Challenges to the second law of thermodynamics, 2005.

Javier Anta Pulido, Historical and Conceptual Foundations of Information Physics, PhD Thesis, 2021.

К. Шеннон, Бандвагон, в кн. Работы по теории информации и кибернетике, 1963. Shannon C., The Bandwagon, Trans. IRE, IT-2, № 1 (1956), 3.

Леон Бриллюэн, Наука и теория информации, 1960. Lеon Brillouin, Science and Information Theory, 1956.

John Earman and John D. Norton. EXORCIST XIV: the wrath of Maxwell’s demon. Part II. From Szilard to Landauer and Beyond. Studies In History and Philosophy of Science Part B: Studies In History and Philosophy of Modern Physics 30, no. 1 (1999): 1 – 40.

U. Seifert, Stochastic thermodynamics, fluctuation theorems and molecular machines. Rep. Prog. Phys. 2012. V. 75. 126001. P. 1-58.