Я попробовала построить психоисторию на открытых данных. Вот что от неё осталось
Трилогию «Основание» Айзека Азимова я прочитала в 2014 году в Донецке, под обстрелами. В ней математик Гэри Селдон придумал психоисторию. Эта наука не знает, что сделает отдельный человек. Зато она считает, куда движутся миллиарды людей сразу, и за столетия вперёд видит войны и крушение империй.
Оттуда и взялась идея. По образованию я физик, по работе — продакт-менеджер, и двенадцать лет спустя я решила проверить приземлённую версию психоистории. Можно ли по открытым данным оценить вероятность войны, обвала валюты или банковского кризиса в конкретной стране?
Я собрала модель для 174 стран и стала примерять к ней посылки психоистории, одну за другой. Почти все порвались.
На чём стоит психоистория
У Азимова наука Селдона работает при нескольких условиях. Людей должно быть очень много, как молекул в газе. Они не должны знать прогноз заранее. Общество подчиняется законам, похожим на физические. И судьба целого не зависит от воли одного человека.
Мой проект называется «Селдон». Он оценивает четыре события: начало войны, девальвацию за год, резкий скачок курса за месяц и банковский кризис. Данные я беру только открытые: база конфликтов Уппсальского университета, статистика МВФ и Всемирного банка. Код и все отчёты лежат на GitHub, ссылка в конце.
Дальше пойду по посылкам Селдона и расскажу, что стало с каждой.
«Людей много, как молекул в газе»
В стакане воды молекул столько, что число записывается с двадцатью четырьмя нулями. Поэтому давление газа предсказуемо, хотя каждая молекула летит как попало.
У меня «молекулами» оказались не люди, а страны, и их 174. Событий ещё меньше. За тридцать лет в мире началась 151 война. Девальваций в моей выборке 246, на 15 постсоветских стран из них приходится 37. Банковских кризисов, пригодных для проверки модели, набралось девять.
На девяти событиях закон больших чисел не работает. Любой результат на такой выборке приходится подавать с широким интервалом неопределённости. Для банков этот интервал почти касается уровня монетки.
Первая посылка не выдержала сразу. Селдон считал население целой Галактики, а у меня статистика из нескольких сотен случаев.
«Будущего никто не знает»
У Селдона люди не должны знать прогноз. У меня не должна знать будущее сама модель. Звучит очевидно, но именно здесь я ошиблась сильнее всего.
Первые результаты были красивыми. Качество я меряю числом AUC (area under the ROC curve). Оно показывает, как часто модель ставит страну с будущим кризисом выше страны без кризиса. Значение 0,5 соответствует монетке, 1,0 — идеалу. На девальвациях у меня получалось 0,77.
Потом проект прошёл внешний аудит, и оказалось, что модель подглядывала.
Самый наглядный пример связан с рублём. В макроэкономических базах курс записан как средний за год. Рубль рухнул в декабре 2014-го, поэтому средний курс за 2015 год намного слабее, чем за 2014-й. Модель «предсказывала» кризис 2015 года, хотя обвал уже случился и лежал в её данных.
Когда я стала сравнивать декабрь с декабрём, картина изменилась. Раньше Россия за год до обвала стояла на 10-м месте в мире по риску. Теперь она на 60-м из 121. Этот кризис модель на самом деле не видела.
Такие ошибки называют утечками будущего, и у меня их нашлось несколько. Например, ВВП за год публикуют только следующей весной, а модель знала его уже 1 января. После чистки 0,77 превратились в 0,67.
Теперь в проекте 121 автотест, и 65 из них проверяют одно. Тест берёт дату прогноза и портит все данные после неё. Если прогноз хоть немного изменился, значит, модель заглядывает вперёд.
«Общество подчиняется физике»
Эту посылку мне как физику хотелось подтвердить больше всех. В теории сложных систем есть красивая идея критического замедления. Перед фазовым переходом система всё медленнее возвращается к равновесию, и её колебания растут. Так ищут ранние признаки гибели экосистем и резких сдвигов климата.
Я проверила, растут ли колебания курса перед девальвацией. Получилось наоборот. У стран, которые привязали свою валюту к доллару, спокойный курс оказался признаком опасности.
Причина простая и совсем не физическая. Центробанк держит курс до последнего дня и тратит на это валютные резервы. Снаружи видна тишина, а внутри деньги кончаются. Потом курс отпускают, и он падает разом. Замедления в такой системе нет, есть человек с рукой на рычаге.
В войнах идея тоже не сработала, но по другой причине. Я смотрела на боевые потери по месяцам, отрезками по году. В 80 % таких отрезков стоят одни нули. Колебаниям расти не из чего.
«Поведение масс выдаёт будущее»
Психоистория следит за поведением миллионов. Я попробовала сделать то же самое на российских данных. Взяла архив новостей Lenta.ru за двадцать лет и посчитала, как часто там пишут о курсе, кризисе и банках. Потом добавила вклады населения по валютам и покупку валюты населением.
Все три источника оказались термометром, а не барометром. Люди несут рубли в обменники в месяц обвала и после него. Газеты пишут о кризисе, когда он уже начался. Опережения почти нет.
В 2014 году резервы уходили с мая по сентябрь, а пресса всё это время молчала.
Оговорюсь: эту часть я делала ещё до аудита и с тех пор не пересчитывала. Поэтому цифр здесь не привожу, только общий вывод.
«Один человек ничего не решает»
В «Основании» план Селдона ломает Мул. Это мутант, одна-единственная личность, которую уравнения не предусмотрели. Азимов сам показал слабое место своей выдумки.
Модель неплохо видит страны, где война зреет годами: бедность, слабое государство, конфликт у соседей. Но есть войны «из тишины», и в моих данных они играют роль Мула. За год до 2014-го Украина стояла у модели на 43-м месте из 138 стран. Сирия перед 2011 годом была на 49-м, Ливия — на 67-м.
На цифре про Украину я остановилась надолго. Войну, во время которой я читала Азимова, моя модель не предсказала бы.
Когда решение принимает узкий круг людей, годовая статистика о нём ничего не знает. То же верно, когда война приходит волной революций.
С валютой похожая история. На постсоветских странах моя модель при прогнозе на год вперёд работает хуже монетки: 0,42–0,47. Она смотрит на внутренние показатели каждой страны. Обвалы 1998 и 2014 годов пришли во весь регион сразу и извне, через нефть и рубль.
Экран проверки на сайте проекта. На постсоветских странах модель ошибается сильнее, чем правило «всем поставить среднюю частоту». Этот провал показан рядом с удачами.
Что всё-таки работает
После такого списка логично спросить, работает ли хоть что-нибудь. Работает, и это самые скучные вещи.
Войны лучше всего предсказывает простая формула из нескольких признаков. Это детская смертность как мера бедности, тип политического режима, война у соседей и собственная история конфликтов. Её качество 0,825. Перед войной 2020 года Азербайджан стоял у неё на 3-м месте из 131 страны. Армения была на 12-м. На первую десятку списка пришлось 44 % всех новых войн. При случайном порядке было бы 7 %.
В валюте сработала та самая привязка курса, на которой не подтвердилась идея из физики. Страна держит курс, цены внутри растут быстрее, чем у торговых партнёров, резервы тают. Я называю это сжатой пружиной. Годовая модель с похожими признаками за год до обвала поставила Беларусь-2015 на 1-е место в мире из 119. Украина и Россия перед 1998 годом стояли на 1-м и 3-м местах из 96.
Каждая строка — год, каждая отметка — страна. Чёрная точка значит, что кризис случился. Чем левее точка, тем выше была оценка модели. Чёрные точки справа — промахи.
А вот сложные методы не помогли. Градиентный бустинг и деревья решений не обошли обычную логистическую регрессию. Не помогли и умные признаки: идеология правящей партии, голосования в ООН, подробные индексы демократии. Каждый из них я проверила и записала в отчёт с результатом «ноль».
С банками я поступила проще. Модели нужны рыночные процентные ставки и данные о кредите, а они есть у 26 стран из 174. У остальных 148 на сайте вместо числа написана причина, почему оценки нет. Россия среди них.
Что осталось от психоистории
От науки Селдона осталось немного. Событий слишком мало, чтобы работал закон больших чисел. Идея из физики не подтвердилась там, где курс держит человек. Газеты и вкладчики реагируют на кризис, когда он уже идёт. А войну вроде украинской годовая статистика заранее не видит.
Осталась вещь скромнее. Это список стран с вероятностями и пометками, где модель слепа. Она не скажет, начнётся ли война в конкретной стране. Зато она показывает, где искать в первую очередь.
На вопрос, с которым я читала Азимова в 2014-м, ответ получился неприятный. Ту войну по открытой статистике моя модель не посчитала бы.
Главное, чему меня научил проект: красивая цифра ничего не значит, пока неизвестно, что модель знала в момент прогноза. Поэтому раз в месяц я замораживаю прогнозы в репозитории. Через год их можно будет сравнить с тем, что случилось на самом деле. Подогнать такую проверку уже нельзя.
Проект открыт, и мне нужна критика. Вопросов, на которые у меня нет ответа, три.
-
Как поймать год общего удара? Больших волн девальваций с 1996 года было три-четыре. Нефть и курс доллара дали первый прирост, но такие эпизоды модель легко выучит наизусть.
-
Что предупреждает о войне «из тишины»? Протесты, перевороты, военные бюджеты и газеты я уже проверила, они не помогли.
-
Где модель всё ещё подглядывает? Найденная утечка будущего — самый ценный баг-репорт, который я могу получить.
Код, тесты и отчёты со всеми отрицательными результатами: github.com/unicat-42/seldon.
Автор: invisibleangy


