Как русский гений, живший век назад, дал жизнь ИИ

Виват, математики

Про Лобачевского слышали даже далекие от математики ^[1]. Те, кто  к ней поближе могут назвать таких титанов отечественной матшколы как Колмогоров. Ну ещё Григорий Перельман отметился в коллективном бессознательном, правда в основном как «тот чудик, отказавшийся от миллиона«.

Но в плеяде блестящих русских умов горит еще одна звезда — или даже планида — имя которой Андрей Андреевич Марков (1856 — 1922). И сейчас это имя имеет особое значение, потому что именно его открытия в последствии станут катализатором новый Эры, в которой мы оказались — Эры Искусственного Интеллекта ^[2].

Детство, отрочество, бунтарство

Рязань славна не только есенинскими местами, михайловским кружевом и грибами с глазами. Ещё здесь берет начало род Марковых и как это зачастую бывало для дореволюционной интеллигенции, связан он с духовенством. 

Андрюша Марков появился на свет 2 июня 1856 года. Его батюшка — Андрей Григорьевич — “дьяков сын”, служил в Лесном департаменте, который ему пришлось покинуть из-за одной скандальёзной ситуации. 

Дело в том, что коллежский советник Марков разоблачил коррупционные схемы на местных лесозаготовках и это ставило под удар как первые чины департамента, так и некоторых влиятельных лиц города. 

Человек по натуре принципиальный, он отказался “давать заднюю” под давлением чиновничьей мафии и в итоге потерял хлебное место. Кстати, эта черта по наследству перейдет и к Андрею, который будет яростно сопротивляться всему, что покажется ему неправильным.

Ребенком Андрюша был болезненным, но энергичным как камышовый кот. До 10 лет ему приходилось пользоваться костылями из-за туберкулеза в колене. Но иногда, устав от постылых деревяшек, он бросал их и прыгал на одной ноге: мог доскакать хоть до булочной за булкой подового, хоть ринуться в салки. На одной ноге он умудрялся даже играть в горелки, что задача не совсем тривиальная даже для здорового человека.   

Гимназистом Марков был себе на уме. Поступив в Петербургскую 5-ю гимназию, он сразу дал понять, что видал ненавистные латынь и греческий в царстве Аида, как и типичную школьную муштру того времени. По многим предметам у Андрюши проскакивали тройки и колы. И лишь в математике он блистал, неизменно получая оценку 5-й степени.

Не расставаясь с записной книжкой пестревшей формулами, юный Андрей однажды поверил, что сделал научный ^[4] переворот. Эврика! Новый метод интегрирования обыкновенных линейных дифференциальных уравнений с постоянными коэффициентами найден и теперь ему светят золотые лавры…

Однако, он получил ответы от тогдашних звезд математики Золотарева и Коркина, а также вице-президента Академии наук Буняковского: ваш метод труден, а проблема давно решена более простым способом. Но все равно дерзайте!

Экстраординарный профессор и «Евгений AI.негин«

После гимназии Марков поступает в Петербургский университет. Наконец-то свобода: никаких карцеров, комендантских часов и отнятых в наказание булок с изюмом. В университете он начинает блистать уже в полную силу. 

Этому способствует пул его наставников: теорию чисел он изучал под руководством еще одного титана отечественной матшколы Пафнутия Чебышёва, а неорганическую химию вел сам Дмитрий Менделеев. Кстати, Менделеев поставил Маркову единственную четверку по точным наукам за всю жизнь.

В 1880 он защитит знаменитую магистерскую диссертацию «О бинарных квадратичных формах положительного определителя ^[5]». А через год будет защищена уже докторская на тему «О некоторых приложениях алгебраических непрерывных дробей». Карьера развивается быстро: уже в 1886 Марков становится экстраординарным профессором.

Марков успевает отметиться во многих областях математики, но настоящий прорыв его ждет с открытием класса стохастических процессов с дискретной и непрерывной временной компонентой — марковских процессов.

В 1906 году он опубликует работу «Распространение закона больших чисел на величины, зависящие друг от друга ^[6]». Ее основная мысль заключается в том, что будущее состояние последовательности случайных величин определяется только настоящим состоянием, а не всей предысторией состояний как таковой.

Иными словами, грядущую вероятность возможно предугадать, делая всего один шаг назад. Чтобы доказать это, Марков провел беспрецедентный эксперимент: он диссектировал 20 000 букв из «Евгения Онегина», чтобы выявить математическую вероятность появления гласных и согласных в тексте романа.

Это выглядело так. 

1. Сначала подсчет букв:

   

2. Вычисление базовых вероятностей их появления:

   

3. Вычисление условных вероятностей для буквенных пар:

4. Вычисление условных вероятностей для буквенных троек:

5. Формулы для вычисления недостающих вероятностей:

6. А вот так выглядит вычисление коэффициентов η и ε

   

Доклад появился в Известиях Императорской Академии Наук в 1913 и опередил свое время лет, этак, на сто. Марков доказал, что события можно относительно легко прогнозировать, не заглядывая слишком далеко в прошлое. И, вероятно даже сам не догадываясь, он высек первую искру огня математических абстракций, которые постепенно приведут нас к Искусственному Интеллекту.

Кстати говоря, работая над экспериментом с «Онегиным», Марков спонтанно открыл методику предобработки данных (data cleaning), которая сейчас используется для препарации тренировочных датасетов. Предобработка удаляет лишние шумы из массива тренировочных сэмплов, чтобы нейро-модель не запоминала ложные закономерности. В противном случае это может привести к ошибкам и галлюцинациям — то есть их будет ещё больше, чем обычно.

Чтобы получить наиболее адекватную статистику, Марков удалил из текста знаки препинания, пробелы и буквы нерусского алфавита. Даже твердый и мягкий знак были на время отправлены в отставку:

«МОЙ ДЯДЯ САМЫХ ЧЕСТНЫХ ПРАВИЛ КОГДА НЕ В ШУТКУ ЗАНЕМОГ ОН УВАЖАТ СЕБЯ ЗАСТАВИЛ И ЛУЧШЕ ВЫДУМАТ НЕ МОГ»  (Бонусные очки, если прочитаете это с грузинским акцентом).

Впрочем, лучше познакомиться с первоисточником ^[7]:

А что было дальше?

Бушевал пожар революции, отгремела гражданка. Профессор Марков стойко переносил лишения — порой у него не было даже нормальной обуви. Но все же возраст и здоровье дали о себе знать. Гениального математика не стало в июле 1922 года после операции аневризмы на ноге.

Однако для описанных им алгоритмов все только начиналось. В 1948 году Клод Шеннон выпускает прорывную статью «Математическая теория связи ^[8]», в которой описывает, среди прочего, рудиментарную языковую модель, вдохновленную идеями Маркова.

По Шеннону, система может предугадать какое слово последует за определенной цепочкой других слов. К примеру если написать: 

                                            «Корсиканец Наполеон»

То система предположит, что следующим словом будет Бонапарт. Но если написать:
 

                                            «Наполеон начиняется…»

То система предложит, что речь идет о заварном креме и может даже добавит glace plombières в конце, чтобы очаровать нас эрудицией. Этот принцип построен на распределении вероятностей для последующих слов, на основе уже полученных и изученных языковой моделью токенов: слов, символов, эмодзи.  

Шеннон, кстати, развил идею Маркова ещё глубже и предположил, что уровень избыточности в человеческом языке позволяет сжать его в компактную структуру, похожую чем-то на нейронную сеть. Здесь он провел аналогию с кроссвордом: чтобы угадать слово, нужно знать всего лишь несколько «базовых« букв: 

                                              «Я ум…ю на р…те» 

Букв нет, а о чем идет речь понятно.

Если бы ИИ не умел играть в такую “угадайку” с помощью N-граммной модели и сжимать данные, не запоминая каждое отдельное слово + его вариации, то компьютеру бы понадобилось иметь токенов больше, чем атомов в обозримой вселенной: двести тысяч в стомиллионной степени (200 000 ^ 100 000 000), если быть точным.

Remarkable Марков

Вклад Маркова в то, как современные роботы мыслят колоссален. Они научились вести осмысленную беседу и понимать контекст благодаря скрытым марковским моделям (Hidden Markov models), рисовать картинки с помощью диффузионного принципа и добавлять в СМС слово «поздно« во фразе «Я буду…»  

Но на ИИ их полезность не заканчивается. С помощью марковских процессов можно выжать много КПД, обслуживая производственные линии, прогнозируя биржевые котировки, моделируя темп роста сельхозкультур или ранжируя страницы в Гугле.

ИИ сейчас окружает много шумихи и противоречий. Мы научили машины глубокому мышлению ^[9] и теперь это чуть-чуть пугает нас. Но будущее с ИИ не обязательно должно быть дистопически мрачным, если мы позаботимся об этом сегодня. И поэтому хотелось бы закончить статью принципом, который открыл наш великий соотечественник: 

«Что будет дальше, зависит только от того, что есть сейчас».