Вопрос на засыпку: кто придумал бит? Если вы ответите «Клод Шеннон», то будете неправы, бит он не придумывал. Но без Шеннона сухая концепция его коллеги по Bell Джона Тьюки вряд ли бы обрела такую популярность и легла в основу современного мира.
А еще Шеннон не придумывал Булеву алгебру, энтропию и логарифмическую меру количества информации. Если честно, то изобретатель из него так себе.
Зато в чем у отца современной информатики точно был талант: он умел находить отличные идеи и применять их в неожиданных формах. При этом на авторство он никогда не претендовал и никогда не пытался выдать что-то чужое за свое.
История Клода Шеннона заслуживает отдельного рассказа, потому что это тот тип ученых, который лично мне ближе всего. Не изобретатель чего-то концептуального, а практик до мозга костей, который с ходу видит, куда можно приспособить удачную идею.
Мальчик из Гэйлорда
Клод Элвуд Шеннон родился 30 апреля 1916 года в городке Петоски, штат Мичиган. А рос в соседнем Гэйлорде — это глухая провинция, лес и озера. Отец — бизнесмен, какое-то время был судьей по наследственным делам. Мать — учительница языков, заодно директор местной школы. Семья обычная, без академических традиций.
Зато был дальний родственник по фамилии Эдисон — Шеннон потом любил это упоминать. Седьмая вода на киселе, но мальчишку это призрачное родство грело.
Детство у него было самое что ни на есть инженерное: он чинил радиоприемники для соседей, собирал модели самолетов, а однажды протянул самодельный телеграф до дома приятеля за полмили. В качестве кабеля Шеннон использовал колючую проволоку, которой обнесли пастбище. Связь по забору, в буквальном смысле.
И еще одна деталь, которая дополнит его образ. Подростком Шеннон подрабатывал разносчиком телеграмм в Western Union. Позже он математически опишет, что вообще такое «сообщение» и как его передать без потерь. Интересно, не тогда ли у юного Клода впервые зародились мысли о правилах передачи информации?
В 16 лет Шеннон поступил в университет Мичигана и взял сразу две специальности — математику и электротехнику. На самом деле это было необычно для тех лет. Чистые математики не лезли в железо, а электротехники недолюбливали абстрактную алгебру. Шеннон же спокойно стоял одной ногой там, другой — тут. И умел замечать, что вещи из одного мира идеально ложатся в другой.
Машина с тысячей реле
В 1936 году Шеннон приезжает в MIT — в магистратуру по электротехнике. И там ему дают подработку, которая определит всю его дальнейшую жизнь.
Его сажают обслуживать дифференциальный анализатор Вэнивара Буша.
На этой машине нам стоит остановиться отдельно. Представьте калькулятор размером с комнату. Еще не электронный, а механический. Валы, шестерни, диски, которые крутятся и решают дифференциальные уравнения. На тот момент — лучшая вычислительная машина в мире, прообраз будущих ЭВМ. По сути, аналоговый компьютер, только ответ он выдавал не цифрами, а положением стрелки или углом поворота вала.
Но у анализатора была управляющая часть — релейная. Больше сотни электромеханических реле щелкали, переключая режимы. И вот эта релейная схема была собрана, скажем мягко, неоптимально. Инженеры лепили ее интуитивно, методом «работает — не трогай». Каждый новый узел — отдельная история, а взаимодействие этих узлов — отдельная головная боль.
Молодому Шеннону приходилось все это чинить и перенастраивать. И он быстро возненавидел бардак.
Реле — штука примитивная. Это просто электромагнитный выключатель: подал ток — контакт замкнулся, снял ток — разомкнулся. Два состояния.
Сейчас мы бы сказали, что это похоже на «да» и «нет» или «истину» и «ложь». Во времена Шеннона эти определения уже существовали, но еще не использовались в привычном нам качестве.
Летом 1937 года, уже подрабатывая в Bell Labs, Шеннон обдумывает проблему построения логических схем. И вспоминает кое-что, что слышал на занятиях по философии еще в Мичигане.
Мистер Буль и его бесполезная алгебра
Тут придется сделать шаг назад почти на сто лет.
Жил в Англии в середине XIX века математик-самоучка по имени Джордж Буль. И придумал он странную вещь — алгебру, в которой переменные могут принимать только два значения. Не любые числа, а только два: можно считать, что это 1 и 0. И операции там были не «плюс» и «минус», а «И», «ИЛИ», «НЕ».
Буль пытался формализовать человеческое мышление. Свести логику к арифметике. Свою книгу 1854 года он так и назвал — «Законы мышления». Замах был философский, почти богословский: он всерьез думал, что нащупал математику самих законов разума.
И что, вы думаете, было дальше?
А ничего не было. Почти восемьдесят лет — ничего. Алгебру Буля изучали как любопытную ветвь чистой логики. Красивая игрушка для философов и математиков. Практического применения — ноль. Буль умер в 1864 году, простудившись под дождем, в полной уверенности, что занимался теорией мышления.
О том, что его двузначная алгебра когда-нибудь будет работать внутри каждого электронного устройства на планете, он не подозревал. Да и подозревать не мог — всех этих устройств еще не изобрели.
Восемьдесят лет идея лежала у всех на виду и становилась все нужнее по мере развития релейной логики. Но никто ее не замечал.
Точнее, почти никто. В 1910 году физик Пауль Эренфест в рецензии на книгу по булевой логике обронил мимоходом: а ведь такая алгебра пригодилась бы для расчета релейных схем телефонных станций. Обронил — и все. Сам не взялся, других не зажег. И идея повисла в воздухе еще на четверть века. Пока не появился Шеннон.
Идея у Шеннона была такая. Реле имеет два состояния. Булева переменная имеет два значения. Замкнутый контакт — это 1. Разомкнутый — 0. Два реле последовательно — это операция «И» (ток пройдет, только если замкнуты оба). Два реле параллельно — это «ИЛИ» (хватит и одного). То есть любую релейную схему можно записать булевым выражением. А булево выражение можно упростить по правилам алгебры — как мы в школе сокращали дроби. Упростил формулу — значит, можешь выкинуть лишние реле из реальной схемы.
Сам он потом описывал это довольно сухо. Мол, заинтересовался релейной частью, знал символическую логику, понял, что булева алгебра — ровно то, что нужно для схем. Набрал книг по логике и по алгебре Буля и стал, как он выразился, «играть, перекладывая одно на другое». Вот это «перекладывая одно на другое» — и есть весь Шеннон. Если хотите понять этого человека — запомните эту фразу.
Из всего этого выросла его магистерская диссертация, написанная в 1937 году с сухим названием «Символический анализ релейных и переключательных схем». Через год, в 1938-м, ее опубликовали в трудах Американского института инженеров-электриков — публикацию пробил сам Буш, которого работа впечатлила. Гарвардский психолог Говард Гарднер потом назвал ее, возможно, самой важной магистерской диссертацией столетия.
Двадцати-с-чем-то-летний парень взял пыльную философскую игрушку 1854 года и показал, что на ней можно строить любую логическую схему. Сложение, сравнение — Шеннон в той же работе привел готовые примеры, включая двоичный сумматор. Это фундамент, на котором сейчас стоит вообще все цифровое. Процессор в вашем телефоне — это миллиарды транзисторов, которые делают ровно то, что Шеннон описал на реле: «И», «ИЛИ», «НЕ». Поменялась только элементная база — реле стали полупроводниками, а логика осталась булева.
Отдельно стоит отметить, что Шеннон даже не пытался присвоить себе хоть какие-то лавры Буля. В работе прямо написано: вот алгебра математика прошлого века, я ее беру и применяю к схемам.
Гениальность была не только в том, что Шеннон нашел инструмент, который позволил адекватно работать с логическими схемами.
Куда удивительнее другое: все восемьдесят лет инструмент лежал у всех на виду. И только Шеннон первым понял, как им пользоваться.
Ладно, хорошо, Шеннон даже первым не был. В 1935 году, за два года до Шеннона, ровно ту же идею выдвинул советский физик Виктор Шестаков в Московском университете. Беда в том, что опубликовал он свои результаты только в 1941-м — и на русском. К тому моменту работа Шеннона уже разошлась по миру.
А японский инженер Акира Накасима и вовсе опередил обоих: его статьи о связи релейных схем с логикой выходили с 1934 года. Правда, по-японски и без той общности, которую потом даст Шеннон. Так что «первооткрывателей» было несколько, и спорить о приоритете можно долго.
Но лично мне кажется, что Шеннон свое открытие совершил независимо от других. Ибо если бы он использовал чьи-то работы, он бы отметил автора. Он всегда отмечал.
В итоге, в историю вошел тот, кто первым донес это до научного сообщества. Шестаков опоздал с публикацией на годы. Накасима писал по-японски. А Шеннон сделал работу целиком, и вовремя опубликовал там, где ее сразу прочли. Иногда визионерство — это еще и оказаться в нужном месте с законченной работой, пока остальные дописывают черновик.
Алгебра для генов
Дальше Шеннон делает ход, который многих сбил с толку. Получив магистерскую степень, на которой можно было строить блестящую карьеру в электронике, он садится писать докторскую — по генетике. Да, по генетике. Диссертация 1940 года называлась «Алгебра теоретической генетики».
Казалось бы — где логические схемы, а где гены? А связь та же самая. Шеннон опять взял математику и попробовал приложить ее к новой области. Он попытался описать, как распределяются признаки в популяции, чисто алгебраически. Работа, честно говоря, заметного следа в самой генетике не оставила — биологи ее толком не заметили. Но для понимания личности Шеннона она говорит о многом.
Во-первых, прикладывать известные инструменты туда, куда другие не догадались, — это было любимой забавой ученого. Во-вторых, не все его труды совершили революции и оставили след в истории. Но все это была разминка. Главные работы своей жизни он сделает в Bell Labs, и сделает во время войны.
Чай с Тьюрингом и тайна, которую нельзя обсуждать
После защиты докторской в 1940-м Шеннон получил стипендию Национального исследовательского совета и год провел в Институте перспективных исследований в Принстоне. Место, прямо скажем, неординарное.
Чтобы было понятно, в какой компании оказался двадцатичетырехлетний парень: по тем же коридорам ходили Эйнштейн, логик Курт Гедель и тот самый Джон фон Нейман. Институт был задуман как место, где умным людям просто платят за то, чтобы они думали, — без лекций, без обязательной нагрузки. Своего рода заповедник для мозгов.
Долго Шеннон там не задержался. Дальше была война, и его, как и многих, затянуло в прикладные задачи. Но саму атмосферу — где можно годами возиться с идеей без отчетности — он, по-моему, пронес через всю жизнь. Дальше увидите, к чему я клоню.
В Bell Labs Шеннон попал в самую гущу военных задач. Шла Вторая мировая, и одной из тем была криптография — как зашифровать связь так, чтобы ее не вскрыл противник, и как вскрыть чужую.
Шеннон занялся теорией шифров всерьез. И в 1945 году написал секретный отчет «Математическая теория криптографии». После войны его рассекретили и опубликовали под названием «Теория связи в секретных системах».
Это, по сути, документ, с которого началась научная криптография как дисциплина. До Шеннона шифрование было искусством одиночек. Он подвел под него теоретическую базу и, в частности, строго доказал, почему абсолютно стойкий шифр — одноразовый блокнот — действительно невзламываем. Просто математически невозможно, чтобы там кто ни говорил.
И снова характерный ход. Шеннон сформулировал то, что все остальные пытались выразить интуитивно. Ученый описал, при каких условиях перехваченное сообщение не дает врагу ни единого бита полезной информации. Раньше про шифры спорили на уровне «вроде надежно, пока не вскрыли». Шеннон превратил это в теорему. А вся современная криптография стоит на фундаменте его описаний и определений.
Еще из интересного. В 1943 году в Bell Labs приезжал один англичанин, которого звали Алан Тьюринг. Он был в Штатах по криптографическим делам и заглянул к американским коллегам. Они регулярно пили чай в столовой вместе с Шенноном. И болтали о науке.
Потому что о работе говорить не могли. Оба сидели по уши в секретных шифровальных проектах своих стран, и обсуждать их друг с другом было нельзя. Поэтому два человека, каждый из которых в одиночку перевернул свою область, болтали о другом. Например, о том, может ли машина думать, об искусственном интеллекте и о том, увидят ли они настоящих роботов.
Большая статья
И вот мы подходим к 1948 году. К работе, по которой Шеннона помнят в первую очередь. Называлась она скромно — «Математическая теория связи». Вышла в двух номерах корпоративного технического журнала Bell System Technical Journal, летом и осенью. Грубо говоря, это было заводское издание для своих, пусть даже «свои» — это сотрудники такого гиганта как Bell.
Чтобы понять суть того, что написал Шеннон, сначала опишу проблему, с которой он каждый день сталкивался на работе. Телефонная связь на больших расстояниях работала так: сигнал слабеет по дороге, и его надо усиливать. Ставят усилитель. Но усилитель усиливает все подряд: и полезный сигнал, и шум, и помехи, и наводки на линию. Чем дальше тянешь провод и чем больше ставишь усилителей, тем больше копится грязи. В какой-то момент на том конце вместо голоса — каша.
Казалось бы, вывод очевидный: чем длиннее канал — тем хуже связь. Это считалось почти законом природы. Но Шеннон с этим не согласился. Он подошел к делу с неожиданной стороны: предложил забыть про физику передачи и про конкретный смысл сообщения. Неважно, что вы передаете — голос, картинку, текст телеграммы. Важно одно: сколько в сообщении информации. А информация — это снятие неопределенности. Чем труднее угадать следующее слово в сообщении, тем оно важнее и больше информации несет.
Пример: «Погода завтра будет теплая» — это почти пустая фраза, легко угадывается. «Погода завтра будет с метеоритным дождем» — вот это неожиданно и потому весомо.
Отсюда вывод: информацию можно измерить. Как длину или массу.
А раз можно измерить — можно посчитать, сколько ее влезет в данный канал связи. И вот главный результат размышлений нашего героя: у любого канала есть предельная пропускная способность. Ее потом назовут пределом Шеннона. Пока вы передаете медленнее этого предела — можно при помощи правильного кодирования добиться сколь угодно малой ошибки. Хоть на зашумленной линии, хоть через полмира. А вот перешагнуть предел нельзя никаким хитрым кодированием.
В общем-то это и есть главная теорема статьи 1948 года — о кодировании для канала с шумом. Шенноном она сформулирована она в общем виде: для любого канала и для любых помех.
Но куда важнее ее частный случай для канала с ограниченной полосой и белым гауссовским шумом. То есть, грубо говоря, для обычной телефонной линии или радиоэфира — предел считается по конкретной формуле:
Где C — пропускная способность в битах в секунду, B — ширина полосы в герцах, S/N — отношение мощности сигнала к мощности шума.
Эту формулу называют теоремой Шеннона—Хартли, и Хартли в названии — не случайный сосед: о нем чуть ниже.
Этот частный случай едва ли не важнее теоремы целиком и уж точно используется чаще. Когда ваш Wi-Fi-роутер решает, передавать ли данные с высокой скоростью или срезать ее ради помехозащиты, он в сущности прикидывает, далеко ли текущий канал от шенноновского предела. Стало шумно — предел просел — скорость упала. Все по формуле семидесятилетней давности.
Вдумайтесь. До Шеннона думали, что шум — это некая фундаментальная особенность природы, с которой можно бороться, только теряя качество. Шеннон доказал: у надежной связи есть точная граница, и до нее связь может быть практически идеальной.
А еще он подарил всем одну картинку. В той статье есть простая схема: источник сообщения, передатчик, канал, в который сбоку подмешивается шум, приемник, получатель. Пять прямоугольников и пара стрелок. На вид — ерунда, такое чертит любой студент. Но Шеннон показал, что под эту схему подходит вообще любая связь: телефонный звонок, телеграмма, разговор через стол, нервный импульс, запись на жесткий диск, отправка зонда к Сатурну. Везде одно и то же — кто-то что-то передает через канал, в котором есть помехи.
Эта картинка теперь в каждом учебнике по связи на планете. Универсальный чертеж того, как одна штука сообщает что-то другой штуке. Историк Джеймс Глик потом написал, что эта статья была важнее всего, что случилось в 1948 году, — важнее даже изобретенного тогда же транзистора. А ведь транзистор — это вся современная электроника.
Самое забавное: Шеннон сначала вообще не собирался это публиковать. Сидел на материале несколько лет, идеи набрасывал еще в письме Бушу в 1939-м. Опубликовал, только когда коллеги уговорили.
А по-настоящему знаменитой статья стала годом позже, в 1949-м, когда вышла отдельной книгой. К сухому шенноновскому тексту математик Уоррен Уивер написал вступление — на человеческом языке, для тех, кто не дружит с формулами. Уивер объяснил, почему это вообще важно и при чем тут язык, смысл и связь между людьми. Так у теории появилось два лица: строгий Шеннон для специалистов и доходчивый Уивер для всех остальных.
Многие, кто потом всю жизнь ссылался на «теорию Шеннона», на самом деле прочли как раз уиверовское предисловие. Что ж, у каждой великой идеи должен быть свой переводчик на язык простых смертных.
Сколько информации в слове «привет»
Тут стоит чуть задержаться, потому что есть у открытия Шеннона следствие, которое мы все используем каждый день, не подозревая об этом. Раз информация — это снятие неопределенности, то логично: чем легче угадать следующий символ, тем меньше в нем информации. И Шеннон поставил настоящий эксперимент. Он брал людей и давал им угадывать текст по буквам: вот начало фразы, угадайте следующую букву. Потом следующую. И считал, как часто угадывают.
Выяснилась занятная вещь. Английский текст (да и любой естественный язык) примерно на пятьдесят процентов предсказуем. То есть половину букв в обычной фразе можно выкинуть, и человек все равно прочтет. Эту предсказуемость Шеннон назвал избыточностью.
Звучит абстрактно? А вы прямо сейчас ею воспользуетесь. Кгда я убрбю псл кждг слв п нскльк бкв — вы ведь все равно поняли предыдущую фразу, да? Вот это и есть избыточность языка.
И из этой идеи растет сразу половина современных технологий. Архиваторы вроде ZIP, форматы вроде JPEG и алгоритмы сжатия видео работают ровно на одном принципе: выкинуть предсказуемое, оставить неожиданное. Шеннон еще в сороковых посчитал, до какого предела вообще можно ужать сообщение без потери данных. Это называется предел сжатия, и он тоже носит его имя.
Сегодня на той же идее стоят языковые модели, которые по сути занимаются ровно тем же — угадывают следующее слово. Только там масштаб другой. Получается, человек в сороковых годах на коленке нащупал принцип, на котором через восемьдесят лет будет работать огромная часть интернета и современного ИИ.
Сжатие, кстати, работает и в другую сторону. Если, наоборот, добавить избыточность, то сообщение куда лучше передается сквозь шум. Потерялась пара букв в дороге — приемник по оставшимся восстановит, что было. Это помехоустойчивое кодирование, то самое, на котором сейчас завязана большая часть беспроводных протоколов. Сжатие и защита от ошибок — две стороны одной монеты, и обе стороны Шеннон описал в одной и той же работе.
Хотите потрогать это руками — возьмите любой QR-код. Заклейте уголок, нарисуйте поверх логотип — он все равно считается. Внутри работает код Рида—Соломона, который заранее подмешал в картинку расчетную избыточность: в максимальном режиме коррекции можно потерять до 30% площади без последствий.
Та же история с поцарапанным компакт-диском, который продолжает играть как ни в чем не бывало. И с «Вояджером», чьи снимки Нептуна долетели до Земли через четыре с лишним миллиарда километров, продравшись сквозь космический шум на передатчике мощностью в пару десятков ватт — как у лампочки в холодильнике. Везде одна и та же шенноновская арифметика: знаем емкость канала, знаем уровень помех — значит, можем посчитать, сколько избыточности подсыпать, чтобы ошибки чинились сами.
Есть, правда, тонкость, о которой стоит сказать. Шеннон доказал, что хорошие коды существуют, но не сказал, как их строить, — теорема у него неконструктивная. Первую практическую реализацию корректирующего кода придумал его коллега по Bell Labs Ричард Хэмминг. По легенде ученый разозлился на релейную машину, которая по выходным, когда рядом не было операторов, роняла его расчеты из-за единственного сбойного бита.
Шеннон, кстати, успел сослаться на хэммингов код прямо в статье 1948 года — самому Хэммингу опубликоваться тогда мешала патентная волокита. А дальше инженеры семьдесят лет карабкались к шенноновскому пределу.
Спустя десятилетия главный критерий качества кодирования остается неизменным: сколько децибел осталось до Шеннона. Вплотную подобрались только в девяностые, с турбокодами, а нынешние LDPC-коды, которые крутятся в вашем Wi-Fi, не дотягивают до предела уже доли децибела. Сам предел, рассчитанный на бумаге в сороковых, актуален до сих пор. И пересечь его, как Шеннон и обещал, не удалось никому.
Слово, которое придумал не он
Теперь, собственно, история про бит.
Шеннону нужна была единица измерения информации. Такую единицу он в статье назвал битом. И тут же, прямо в тексте, приписал: слово придумал не я. Слово предложил мой коллега по Bell Labs, Джон Тьюки.
Тьюки за год до этого, в служебной записке от 9 января 1947 года, просто сократил громоздкое «binary digit» — двоичная цифра — до короткого «bit». Это была чисто канцелярская экономия букв, чтобы не писать каждый раз длинно. Заодно вышло складно: по-английски bit — это еще и «кусочек», «чуточка».
А Шеннон взял это словечко и сделал его фундаментальной единицей новой науки. Бит по Шеннону — это «количество информации, снимающее неопределенность между двумя равновероятными исходами». Тьюки дал форму, Шеннон вложил смысл.
Узнаете почерк? Ровно как с Булем. Кто-то оставил на полке полезную штуку, не понимая толком ее ценности. Шеннон прошел мимо, увидел, забрал — и пристроил к делу. И опять никого не обокрал: имя Тьюки стоит в статье черным по белому.
Энтропия и жульническая подсказка
С названием для самой меры информации вышла история еще веселее.
Формула, которую Шеннон вывел для количества информации, очень походила на формулу энтропии из термодинамики — ее за сто лет до того ввели физики Клаузиус и Больцман для описания беспорядка в газах и паре. Математически — почти близнецы.
Как назвать свою величину, Шеннон не знал. И, по легенде, спросил совета у Джона фон Неймана — великого математика, который уже тогда был фигурой легендарной.
Фон Нейман ответил примерно так: называй энтропией. Во-первых, твоя формула и правда совпадает с термодинамической. А во-вторых — и это лучшая часть — никто толком не понимает, что такое энтропия, поэтому в любом споре у тебя будет преимущество.
Сразу честно оговорюсь: это, скорее всего, легенда. Единственный ее источник — пересказ самого Шеннона много лет спустя, и историки относятся к ней с подозрением. Может, фон Нейман так и сказал. Может, нет. Но термин «энтропия» в теории информации так и живет. И путаницы вокруг него тоже хватает.
Найквист, Хартли и снова та же история
Даже сама идея измерять информацию логарифмом — то есть считать ее числом — пришла к Шеннону не на пустом месте. До него в тех же Bell Labs работали двое: Гарри Найквист (статья 1924 года) и Ральф Хартли (1928 год). Оба уже подбирались к мысли, что информацию в линии связи можно как-то количественно оценить. Хартли даже написал формулу, очень близкую по духу.
Им не хватило одного шага — учесть, что разные сообщения приходят с разной вероятностью. Что «привет» в переписке встречается чаще, чем «дифракция», и потому несет меньше неожиданности. Шеннон этот шаг сделал, добавил вероятности и завершил дело.
Как вы уже догадались, обоих предшественников он в статье назвал поименно. Найквист и Хартли стоят в ссылках. Складывается такая картина. Бит — Тьюки. Логарифмическая мера — Найквист и Хартли. Само слово «энтропия» — термодинамика XIX века. Булева алгебра — Буль. Кажется, что от самого Шеннона тут вообще ничего нет, одни заимствования.
Но это не так.
Машина, которая умеет думать
Параллельно с теорией информации Шеннон заинтересовался темой, которая тогда звучала как чистая фантастика: а может ли машина играть в шахматы? Не «считать по таблице», а играть — выбирать ходы.
В 1950 году он публикует статью «Программирование компьютера для игры в шахматы». Это первая в мире серьезная работа на эту тему. Компьютеров, способных ее выполнить, толком еще не было — статья чисто теоретическая. Шеннон просто описал, как такая программа в принципе должна думать.
И описал так, что добрая половина шахматных движков в следующие полвека строилась по его чертежу. Например, там была идея минимакса (выбирай ход, который минимизирует максимальную неприятность от ответа противника). Или деление программ на два типа: «А» — грубый перебор всех вариантов подряд, «Б» — умный отбор только перспективных ветвей. Этими понятиями шахматные программисты пользуются до сих пор.
В конце Шеннон обронил прогноз: когда-нибудь компьютер обыграет чемпиона мира. В 1950 году это звучало как болтовня фантаста. В 1997-м машина IBM по имени Deep Blue обыграла Гарри Каспарова. Шеннон до этого формально дожил — но, как вы поймете в конце, узнать о сбывшемся прогнозе ему было уже не суждено.
А еще в 1950 году Шеннон собрал в подвале необычное устройство: мышка ездила по лабиринту из 25 клеток, и сама искала выход. Но фокус был не в том, что она ищет, — а в том, что она запоминала. Пройдя лабиринт один раз методом тыка, во второй раз она бежала к цели уже уверенно, без ошибок. Память держалась на реле — тех самых реле из его магистерской, помните? Выключатель «да/нет», из которого, как оказалось, можно собрать не только логику, но и подобие опыта.
Мышку назвали Тесей. Сегодня это один из первых в мире примеров обучающейся машины. За семьдесят с лишним лет до того, как машинное обучение плотно вошло в нашу жизнь.
Кстати, раз пошла речь про думающие машины, нельзя не сказать про лето 1956 года.
В Дартмутском колледже собрался небольшой летний семинар. Организовали его четверо: Джон Маккарти, Марвин Минский, Натаниэль Рочестер и сам Шеннон.
Термин, который вы теперь слышите по сто раз в день, — «искусственный интеллект» — Маккарти вписал еще годом раньше, в заявку на финансирование этого семинара. Так что у словосочетания, без которого сегодня не обходится ни один стартап, первая цель была довольно меркантильная: выбить у фонда Рокфеллера деньги на два летних месяца.
Этот двухмесячный сбор сейчас считают событием, с которого ИИ родился как научное направление. Его даже называют «конституционным собранием искусственного интеллекта». А четверых организаторов — отцами-основателями.
Два плюс два
Тут надо развеять один важный миф. Когда говоришь «великий математик», в голове рисуется человек, который перемножает в уме шестизначные числа и за секунду берет интеграл. Так вот, Шеннон был не такой.
Считать в уме он, по свидетельствам коллег, был не мастер. Виртуозом арифметики в семье была Бетти, его жена. Шеннон же брал не скоростью вычислений, а тем, что видел структуру задачи целиком — как она устроена, что в ней главное, на что это похоже. Считать детали можно поручить кому-то еще. А вот понять, что вообще считаем и зачем, — это уже не арифметика.
И еще одна черта, которая, несомненно, подкупает. Шеннон не стремился зарабатывать на своих открытиях. Написав статью 1948 года, он мог бы лет двадцать стричь с нее купоны: конференции, доклады, ученики, премии. Многие так и делают, и это нормально. А Шеннон вместо этого пошел паять мышей и думать про шахматы.
Когда теория информации стала модной и в нее ринулась толпа, он в 1956-м даже написал коротенькую заметку под названием, которое переводится примерно как «Не модное ли это поветрие?» — мягко предостерегая коллег от того, чтобы лепить слово «информация» куда попало.
Жонглер на одноколесном велосипеде
Прежде чем подводить итоги, надо рассказать про Шеннона-человека. Потому что без этого портрет неполный, а портрет тут уж больно колоритный.
Шеннон был чудаком в лучшем смысле слова. Он профессионально жонглировал. И даже вывел математическую формулу жонглирования — соотношение между числом шаров, рук и временем полета. По коридорам Bell Labs он любил ездить на одноколесном велосипеде. Иногда — жонглируя на ходу. Сотрудники привыкли.
В подвале своего дома он устроил мастерскую, на которую, по воспоминаниям Эда Торпа (про Торпа — чуть ниже), ушло тысяч сто долларов по тогдашним деньгам. Моторы, шестерни, реле, провода — гора всего. Дом стоял на берегу озера, и хозяева в шутку звали его «Домом энтропии».
Что он там собирал?
Помимо мышки, он собрал трубу, которая плевалась огнем, когда на ней играли. И знаменитую «бесполезную машину» — по идее Марвина Минского. Это была коробка, у которой одна-единственная функция: щелкаешь тумблером «включить», крышка открывается, оттуда вылезает механическая рука, выключает тумблер обратно и прячется. Писатель Артур Кларк, увидев ее, говорил, что от этой штуки делается не по себе.
Но и это еще не все. Был у Шеннона калькулятор, который считал римскими цифрами — THROBAC (THrifty ROman numeral BAckwards-looking Computer – экономный компьютер, работающий с римскими цифрами в обратном порядке). Штука абсолютно бесполезная (попробуйте перемножить XLII на XVII), но сделанная скорее на спор.
Была машинка, собиравшая кубик Рубика. Были жонглирующие автоматы. Было фрисби на ракетной тяге и газонокосилка на дистанционном управлении — это в те годы, когда обычный человек слышал слова «дистанционное управление» разве что в разговорах о торпедах. Половину этого он мастерил вместе с Бетти.
Как обыграть казино в ботинке и подзаработать на коллегах
Есть еще пара историй, без которой портрет Шеннона будет неполным.
В 1960 году к нему обратился молодой математик Эдвард Торп. Тот самый, который позже придумает научный подсчет карт в блек-джеке и напишет книгу «Обыграй дилера». У Торпа была идея фикс еще со студенчества: рулетку можно обыграть. Не угадать — обыграть. Шарик в рулетке движется по физическим законам, как планета по орбите. А раз законы известны — значит, в принципе предсказуемо, в какой сектор он упадет.
Шеннон загорелся мгновенно. Это же ровно его жанр: взять задачу, которую все считают азартной случайностью, и подойти к ней с физикой и математикой.
Девять месяцев они возились в подвале «Дома энтропии». Купили настоящее колесо рулетки, гоняли шарик, замеряли скорость стробоскопом. И собрали устройство — аналоговый компьютер размером с пачку сигарет, двенадцать транзисторов. Оператор носком ботинка нажимал спрятанные кнопки, отмечая, когда шарик и колесо проходят метку. Машинка считала и через крошечный наушник напевала сообщнику восемь разных нот — каждая означала сектор, куда вероятнее всего упадет шарик.
Это, на минуточку, первый в мире носимый компьютер. Лет за сорок до умных часов. Собранный в подвале, чтобы обыграть казино.
В августе 1961 года Шеннон с женой и Торп с женой поехали в Лас-Вегас испытывать систему. Расчетное преимущество над казино они оценивали процентов в сорок четыре — для азартных игр это запредельно много, там обычно борются за доли процента в свою пользу.
И устройство работало. Тонкие провода под одеждой иногда рвались, но сам принцип был верный. Существование машинки держали в секрете до 1966 года, а гору денег Шеннон им так и не заработал. Видимо, ему было важнее проверить, работает ли. Эта коробочка сейчас хранится в музее MIT.
Раз уж зашла речь про поездку с женами. Жену Шеннона звали Бетти — Мэри Элизабет Мур. Бетти сама была математиком, работала в Bell Labs как компьютер. В те времена это слово означало человека, который считает. По-русски точнее будет сказать: «вычислитель».
И в этой профессии заправляли женщины. Считала она блестяще, заметно лучше мужа. Она помогала Шеннону и в работе, и в его подвальных безумствах — паяла, проверяла выкладки, спорила. Брак был партнерский в самом рабочем смысле слова. Хотя ее фамилия так и не попала в название теоремы.
И еще один сюжет, без которого Шеннон будет неполным. Хороший капитал он заработал на бирже. По некоторым прикидкам — больше, чем за всю научную карьеру.
Шеннон рассуждал как инженер: он вкладывался в компании, чью технологию понимал изнутри. Видел, что вот эти ребята делают по-настоящему стоящую электронику, — и брал их акции вдолгую. Он же сам сидел в этой кухне и понимал, что взлетит, а что пшик. Для примера, он неплохо заработал на Hewlett-Packard и Teledyne.
Тут закольцовывается история с Эдом Торпом — тем самым, с рулеткой. Торп после их совместных приключений ушел с головой в финансы и стал одним из родоначальников количественного, математического подхода к бирже, по сути — одним из предшественников современных хедж-фондов. Двое людей, которые в подвале паяли коробочку против казино, потом по отдельности обыграли куда более серьезное казино — фондовый рынок.
Тихий конец
В 1956 году Шеннон вернулся в MIT — уже профессором с именной кафедрой. Преподавал, руководил аспирантами, но публиковал все меньше: ему было интереснее возиться в мастерской. На пенсию вышел в 1978-м. А дальше финал у этой истории невеселый, и я не буду его приукрашивать.
В последние годы Шеннона настигла болезнь Альцгеймера. Человек, который дал миру строгое определение информации, постепенно терял доступ к собственной. Последние годы он провел в доме престарелых. Умер 24 февраля 2001 года в возрасте 84 лет.
Самое обидное, что именно в эти годы — конец девяностых, рубеж тысячелетий — взлетал интернет. Тот самый цифровой мир, который стоит целиком на статье Шеннона 1948 года: каждый бит, каждый протокол, каждое сжатие файла, каждая ошибка, исправленная канальным кодированием. Все это разворачивалось ровно тогда, когда сам Шеннон уже не мог этого осознать.
Он почти не увидел, во что выросло то, что он посеял. По крайней мере, не увидел так, как мог бы.
Заключение
Ну что ж, время подводить итоги. Всю статью я гнул в одну сторону: бит — не его, булева алгебра — не его, энтропия — не его, логарифмическая мера — не его. Возникает законный вопрос: а Шеннон-то хоть что-то вообще изобрел?
Да.
Сами теоремы — про предел канала, про то, что до этого предела возможна почти безошибочная связь, — это чистый, ни у кого не заимствованный Шеннон. Строительные блоки он брал чужие и честно подписывал. А вот здание из них спроектировал сам, и такого здания до него не существовало даже в набросках.
Но важнее другое. Я бы сформулировал так.
Мы привыкли считать гением того, кто что-то придумал первым. Лампочка — Эдисон, телефон — Белл, паровой двигатель — Уатт. Но история техники полна вещей, которые один человек изобрел и не понял их значения, а другой подобрал и пристроил к делу. И часто именно второй меняет мир, а не первый.
Шеннон — главный аргумент в пользу этой мысли.
Размещайте облачную инфраструктуру и масштабируйте сервисы с надежным облачным провайдером Beget.
Эксклюзивно для читателей Хабра мы даем бонус 10% при первом пополнении.
Автор: beget_com
