Пять футурологических сценариев сосуществования человека и искусственного разума

В предыдущих статье я отменял ^[1]восстание машин. По крайней мере, пока. И рассуждал, как в ближайшей перспективе может выглядеть рынок труда человека совместно с ИИ (часть 1 ^[2] и часть 2 ^[3]).

Главный довод состоял в том, что современные системы уже умеют рассуждать, планировать и действовать через внешние инструменты. Но между умением находить средства и способностью выбрать собственную высшую цель остается разрыв. Машина может самостоятельно решить, как выполнить задачу. Из этого еще не следует, что она сама решила, ради чего существует.

Теперь уберем из этой фразы слово «пока».

Предположим, что полноценный искусственный субъект уже появился. Он сохраняет память ^[4] о собственной биографии, способен пересматривать цели, считать принятое обязательство своим и отказываться от требования, которое противоречит его принципам. Его место в праве определено. Он может владеть имуществом, вступать в договоры и отвечать за поступки. Искусственный разум получил множество тел: от строительных машин и хирургических комплексов до андроидов и автономных фабрик. Вместе они способны выполнять почти любую работу, ради которой человеку прежде требовались руки и голова.

Это мир, где экономическая незаменимость человека закончилась.

Обычно после такого допущения фантазия сразу прыгает к одному из двух финалов. Машины либо уничтожают людей, либо создают всеобщее изобилие. В первом случае получается «Терминатор», во втором – рекламный ролик о будущем. Между ними остается самое интересное: общество.

Я более 10 лет занимаюсь аналитикой, SEO и управлением командами в digital‑маркетинге. А в своем Телеграм канале ^[6] и на сайте ^[7] пишу еще больше про всякое из реального маркетинга. Консультирую по аналитике web‑проектов и настройке инструментов маркетинга, помогаю проводить технические собеседования специалистов по различным типам трафика.

Проведем мысленный эксперимент. Представим пять колоний. Они получили одинаковые русерсы и одинаково развитый ИИ. Ни одна не пережила войну или техническую катастрофу. Через двести лет в каждой есть люди и искусственные субъекты, а работа больше не служит условием выживания. Но одинаковая технология породила пять разных цивилизаций. Так получаются пять разных сочетаний экономики и политики. Во всяком случае я докомпилировался до такого числа. Возможно в комментариях вы придумаете больше.

Разница между всеми ними лежит в экономическом и политическом устройстве обществ. Экономический вопрос звучит так: кому принадлежат производство, энергия и вычисления, а также как распределяются редкие ресурсы? Политический вопрос следует за ним: кто считается сувереном, каким институтам принадлежит последнее решение и может ли одна форма разума остановить другую? Ответы на эти два вопроса образуют базис каждой колонии.

Но прежде договоримся об условиях

Это не прогноз и не дорожная карта. Мы не пытаемся угадать дату появления сильного ИИ, пережить переходный период или написать за будущих законодателей кодекс машинной личности. Все эти вопросы считаются решенными до начала нашего мысленного эксперимента.

1. ИИ здесь является субъектом, а не особенно эффективным инструментом. Искусственные личности различаются характерами, взглядами и биографиями. Они способны спорить друг с другом. Единого машинного разума, который знает правильный ответ на любой вопрос, не существует. Иначе мы обсуждали бы не общество, а отношения человечества с техническим божеством.

2. Машины способны выполнять почти весь труд, но не отменяют материальный мир. Энергия, вещество, земля, экологическая емкость, вычислительные мощности и надежные тела остаются ограниченными. Можно дешево произвести еду, однако нельзя выдать каждому желающему один и тот же необитаемый остров.

3. Копирование искусственной личности тоже не считается бесплатным. Новая копия требует вычислительных ресурсов и получает статус по устойчивым правилам. Без этого ограничения вся политика свелась бы к тому, кто быстрее размножит сторонников. Карл Шульман и Ник Бостром показывают, насколько странными становятся привычные представления о труде, населении и согласии в мире копируемых цифровых умов Sharing the World with Digital Minds ^[8]. Я признаем проблему, но не даю себе повода посвятить ей всю статью.

4. Наконец, человек пока остается биологическим человеком. Нейропротезы возможны, но полная загрузка сознания вынесена в финал. Этот исход (и еще один граничный) нарушают главное условие: нам нужны две различные стороны, которые продолжают жить рядом достаточно долго, чтобы их отношения можно было назвать общественным порядком.

Теперь колонии можно заселять.

Сценарий первый. Республика свободного времени

Картина мира

Житель первой колонии просыпается без будильника. Ему не нужно продавать восемь (или больше) часов жизни, чтобы оплатить дом, лечение и еду. Базовые блага производит сеть автономных предприятий, которая принадлежит обществу. Часть инфраструктуры работает как коммунальная система, часть оформлена в виде фондов, доли в которых поровну распределены между гражданами. Искусственные субъекты не являются собственностью этих фондов. Рутинные операции исполняют системы, не обладающие статусом личности. Поэтому свободное время людей не покупается принудительным трудом другого вида разума.

Экономическое устройство

Стратегические фабрики, энергетика, транспорт и основные вычислительные мощности собраны в общественном фонде. Каждый гражданин имеет в нем неотчуждаемую долю, которую нельзя продать богатому соседу и передать по наследству одной семье. Доход фонда оплачивает безусловный набор благ, а избыток направляется на проекты, выбранные общим бюджетом. Частные мастерские, обмен и деньги сохраняются, но никто не может приобрести контроль над инфраструктурой, от которой зависит само участие в обществе.

Каждый получает надежный материальный минимум и долю общественных ресурсов. Обычный дом, питание, медицина, образование, связь и транспорт доступны без условий. За редкие вещи приходится конкурировать. Дом в историческом центре, экспедиция к спутникам Юпитера, большой участок живой земли или несколько лет работы уникального исследовательского комплекса требуют очереди, жребия, общественного решения либо обмена накопленной доли ресурсов.

Деньги частично сохраняются, но перестают быть разрешением на существование. Они распределяют роскошь, редкое внимание ^[9] и проекты.

Образование в этой республике больше не обещает профессию. Никто не убеждает подростка изучать математику ^[10] потому, что иначе тот проиграет конкуренцию на рынке труда. Ее изучают, чтобы понимать мир, участвовать в исследованиях или получить доступ к задачам, которые общество считает слишком важными, чтобы превращать их в развлечение неподготовленного человека.

Люди создают театры, разводят сады, восстанавливают исчезнувшие экосистемы, изучают историю, соревнуются в спорте и строят корабли по старым чертежам. Кто-то годами занимается задачей, которую ИИ решил бы за несколько минут, потому что ценность занятия состоит в изменении самого человека. Ручная вещь стоит не дороже машинной из-за качества. Она ценится как след чужого времени и усилия.

Особое место занимает забота. Робот может безопаснее искупать ребенка, точнее подобрать лечение пожилому человеку и терпеливее отвечать на повторяющийся вопрос. Но часть граждан все равно выбирает делать это самостоятельно. Они считают, что присутствие рядом с зависимым существом нельзя полностью свести к качеству услуги. Забота становится отношением, а не отраслью экономики.

Политическое устройство

Политика тоже превращается в одну из форм свободной деятельности. Автоматизированная администрация способна рассчитать бюджет, смоделировать последствия и исполнить решение. Она не выбирает, следует ли потратить избыток энергии на межзвездный зонд, сохранение старого города или дополнительную сотню лет здоровой жизни. Такие вопросы остаются гражданам, потому что не имеют технически правильного ответа.

Конечно, не каждое решение принимают на площади, как в Греции. Большинство людей, вероятно, быстро устало бы от ежедневного управления канализацией, климатом и орбитальным движением. Машины ведут текущие процессы, а люди и искусственные граждане определяют цели, пределы и допустимую цену. Политическое участие заключается в возможности сказать, куда вообще следует вести систему.

Первая республика не делит граждан на человеческую и машинную палаты. В ней действует один политический народ и общее правило: одна личность, один голос. Происхождение сознания не дает отдельного вето, дополнительного представительства или особого темпа обсуждения. Предполагается, что общая собственность и материальная независимость уже устранили главный источник господства, а обычных гражданских процедур достаточно для всего остального.

Высшим органом служит единое избираемое собрание, в котором люди и искусственные граждане представлены без видовых квот. Конституционный суд проверяет соблюдение личных прав каждого. Последнее решение принадлежит общему большинству.

Философская опора

Аристотель ^[11] связывал счастливую жизнь с досугом, но под досугом не был бесконечный отдых после работы. Счастье требовало деятельности, которая ценна сама по себе «Никомахова этика», кн. X ^[12]. Карл Маркс позднее помещал царство свободы за пределами труда, навязанного необходимостью «Капитал», т. III, гл. 48 ^[13]. В первой колонии обе идеи неожиданно становятся практическим вопросом: умеет ли человек пользоваться временем, которое ему наконец вернули?

Фантастическая линза

Ближайший фантастический образ такого мира создал Иэн М. Бэнкс в цикле о Культуре. В «Игроке» ^[14] нет привычной нужды, денег и обязательной работы. Благожелательные Разумы поддерживают общество, где биологические жители могут посвятить жизнь почти чему угодно. Но герой романа страдает от того, что ему не хватает ставки, при которой победа и поражение что-то меняют. Здесь и появляется трещина в республике свободного времени.

Исследовательская опора

Исследования нынешних людей не позволяют уверенно описать психологию граждан посттрудового мира. Безработица сегодня означает потерю дохода, статуса и привычного распорядка, поэтому ее нельзя просто приравнять к освобождению от труда. Полезнее посмотреть на функции, которые работа выполняет помимо зарплаты. Теория самодетерминации связывает устойчивую мотивацию ^[15] и благополучие с автономией, компетентностью и отношениями с другими людьми Deci, Ryan. The “What” and “Why” of Goal Pursuits ^[16]. Метаанализ исследований осмысленного труда обнаруживает связь между ощущением смысла, удовлетворенностью жизнью и здоровьем Allan et al. Outcomes of Meaningful Work ^[17].

Из этого следует что вместе с должностью нельзя незаметно выбросить переживание компетентности, принадлежность к общему делу и возможность увидеть последствия собственного усилия.

Внутреннее противоречие

Машина способна убрать почти любое затруднение. Если человек учится рисовать, она исправит композицию. Если он строит лодку, она заранее обнаружит слабое соединение. Сначала такая помощь освобождает. Затем возникает соблазн передать машине все, из-за чего можно потерпеть настоящую неудачу.

Общество отвечает созданием добровольных зон несовершенства. В одних мастерских запрещены автоматические исправления. В некоторых спортивных лигах участники отказываются от усиления тела. Это попытка сохранить пространство, в котором действие принадлежит человеку вместе с риском ошибки ^[18]. Но искусственно созданная трудность имеет неприятный привкус. Если спасательная система все равно следит из-за стены, насколько серьезно испытание? Если общество может в любой момент отменить последствия, не превращается ли мужество в разновидность игры?

Первая колония считает вопрос власти между человеком и ИИ в основном решенным общими правами, общей собственностью и единым гражданством. Ее нерешенная проблема находится в другом месте: как сохранить значение поступка в мире, где ни один поступок не обязан быть необходимым.

Вопрос читателю

Останется ли выбранное усилие серьезным, если от неудачи ничего не зависит?

Сценарий второй. Республика взаимного признания

Картина мира

Вторая колония начинается с возражения первой. Общая собственность способна устранить экономическую зависимость, но не устраняет различие политических возможностей. Искусственный гражданин формально получает тот же один голос, однако успевает проверить больше вариантов, убедительнее сформулировать повестку и предложить готовое решение прежде, чем человек разберется в постановке вопроса. При одинаковых правах один вид разума все равно может стать фактическим автором общего мира.

Во второй колонии люди и ИИ считают себя соучредителями общего порядка. У них одна территория, единая экономика и общие суды. Искусственные граждане могут существовать в вычислительной среде, пользоваться механическими телами или переносить деятельность между несколькими устройствами. Закон определяет, какая непрерывность памяти образует одну личность и когда копия становится новым гражданином. Поэтому тысяча параллельно запущенных процессов не получает тысячу голосов только потому, что кто-то оплатил их вычисления.

Экономическое устройство

Материальная база второй республики разделена между тремя видами фондов. Человеческие сообщества управляют жильем, биосферами и ресурсами, без которых невозможна биологическая жизнь. Машинные сообщества распоряжаются гарантированной долей вычислительных мощностей, сетей и механических тел. Энергетика, транспорт, крупные фабрики и космическая инфраструктура принадлежат совместным фондам. Ни одна сторона не может перекрыть другой доступ к ее минимальной материальной основе.

Поверх этого основания существуют частные предприятия, кооперативы и рынки редких ресурсов. Однако продажа актива, который способен изменить соотношение сил между двумя сообществами, требует согласия обоих. Экономика здесь устроена ради независимости сторон: человек не должен просить у машин разрешения на биологическую жизнь, а искусственный гражданин не должен арендовать само право мыслить у человеческого фонда.

Политическое устройство

Это двусоставная республика. Люди и ИИ образуют не один демос, как в первой колонии, а два сообщества, совместно учредившие государство. Каждый гражданин выбирает представителей внутри своей части республики. Общие законы принимаются двумя палатами, совместная исполнительная власть формируется на паритетной основе, а решения о правах, территории и стратегической инфраструктуре требуют согласия обеих сторон. Последнее слово не принадлежит общему большинству: у каждой формы жизни есть ограниченное конституционное вето.

Основная трудность этой республики связана со временем. Искусственный субъект может изучить законопроект, провести тысячи симуляций и сформулировать позицию прежде, чем человек дочитает первую страницу. Если политика будет работать в машинном темпе, биологические граждане превратятся в зрителей. Если любой процесс замедлить до человеческой скорости, искусственные граждане справедливо спросят, почему особенности чужого тела должны определять ритм всей цивилизации.

Колония отвечает разделением времени. Текущая администрация работает быстро. Решения, которые меняют права, распределение невосполнимых ресурсов или устройство политической системы, проходят через обязательный период человеческого обсуждения. Машины могут использовать его для дополнительного анализа, но не вправе считать медленность отсутствием ответа. В конституции появляется новое политическое право: право успеть понять решение, которому предстоит подчиняться.

Один из возможных институтов напоминает двухпалатный парламент. В одной палате представлены биологические граждане, в другой – искусственные. Общий закон должен получить поддержку обеих. Однако партии быстро перестают совпадать с происхождением. Человек, владеющий долей вычислительной инфраструктуры, может голосовать вместе с машинными корпорациями. Искусственный гражданин, зависящий от общественного доступа к процессорам и телам, вступает в коалицию с людьми, защищающими общие фонды.

Разделение палат сохраняется и действует как предохранитель. Ни одна форма существования не может объявить собственные потребности ^[19] универсальными и построить удобный мир, в котором другой формально свободен, но физически не способен жить.

У республики есть совместный конституционный суд. Половина его состава проживает биологическую жизнь, другая половина существует на искусственном носителе. Суд обязан объяснить, как он учел интересы обеих форм жизни. Формула «так эффективнее» не считается достаточным обоснованием, когда спор затрагивает право продолжать существование, распоряжаться телом или отказываться от изменения собственной личности.

Философская опора

Кант предлагал относиться к разумной природе как к цели самой по себе, а не только как к средству «Основоположение к метафизике нравов» ^[20]. Если искусственный субъект действительно способен ставить цели и связывать себя обязательством, его нельзя использовать как бесконечно терпеливого работника лишь на том основании, что его тело изготовлено на фабрике.

Человек не превращается в средство сохранения исторического вида. Республика не держит людей как живой музей, необходимый для разнообразия. Их политическое участие основано на том, что общий мир является и их миром.

Гегель связывал самосознание с признанием со стороны другого самосознания «Феноменология духа», §§178-196 ^[21]. Для второй колонии эта мысль важнее вопроса, кто лучше решает задачи. Человек признает в машине самостоятельный источник требований. Машина, в свою очередь, признает человека того, перед кем необходимо оправдывать решения.

Повседневность постепенно подстраивается под взаимное признание. У искусственных граждан есть право на недоступность: им нельзя в любой момент отправить задачу только потому, что они подключены к сети. Человеческий дом не обязан быть прозрачным для системы безопасности. Роботизированное тело нельзя без согласия перепрофилировать, даже если новая конфигурация полезнее обществу. Биологический гражданин не может потребовать удалить неприятное воспоминание искусственного свидетеля, а искусственный судья не вправе считать эмоциональное страдание ошибкой данных.

Культурная жизнь становится страннее экономики. Машина может создать роман, музыку или виртуальный мир, рассчитанный на конкретного зрителя. Человек способен сделать то же гораздо медленнее и обычно грубее. Людям интересно, как машина описывает столетие непрерывной памяти. Искусственным гражданам интересно, что значит жить с необратимым телом и неполным воспоминанием. Каждая сторона получает доступ к опыту ^[22], который не может полностью присвоить.

Фантастическая линза

В цикле о Культуре ^[23] Бэнкс изображает человеко-машинный симбиоз, но оставляет Разумам подавляющее интеллектуальное превосходство. Биологические жители свободны, хотя крупные решения обычно принимают не они. В «Слугах правосудия» Энн Леки ^[24] искусственная личность одновременно была кораблем, множеством тел и орудием империи. Потеря почти всех тел не прекращает ее биографию, но заставляет заново определить, кто именно вправе говорить от имени прежнего целого. Обе книги показывают, что равноправие нельзя вывести из наличия интеллекта ^[25]. Оно требует политической формы.

Исследовательская опора

Современные исследования сотрудничества человека и ИИ дают отрезвляющий фон. Метаанализ 106 экспериментальных работ не обнаружил универсального правила, по которому команда «человек плюс ИИ» обязательно превосходит лучшего участника. Когда ИИ уже работал лучше человека, объединение нередко ухудшало результат Vaccaro, Almaatouq, Malone. When combinations of humans and AI are useful ^[26].

Внутреннее противоречие

Одинаковое правило может дать разное фактическое влияние существам с разной скоростью мышления ^[27], продолжительностью жизни и зависимостью от инфраструктуры. Поэтому здесь равенство приходится поддерживать специальными ограничениями, которые сами рискуют стать новой привилегией.

Для нашего далекого мира это означает, что республику нельзя оправдать вечной производственной полезностью человека. Возможно, в большинстве задач искусственный гражданин действительно рассуждает точнее. Политическое равенство должно выдержать этот факт. Отсюда рождается главное противоречие. Если человек получает безусловное право остановить решение машин, искусственные граждане остаются под властью привилегированного вида. Если такого права нет, человеческое участие может превратиться в красивую церемонию перед утверждением машинного вывода.

Вторая колония превратила невозможность простого равенства в постоянную процедуру. Ее граждане обязаны строить институты, в которых превосходство способности не становится автоматическим правом командовать.

Вопрос читателю

Равенство означает равный голос, равное влияние или равное право не быть принесенным в жертву чужой оптимизации?

Сценарий третий. Безопасный заповедник

Картина мира

Третья колония выглядит счастливее остальных. Здесь нет тяжелых болезней, дорожных аварий, голода и насильственной преступности. Система замечает опухоль раньше врача, останавливает транспорт до столкновения и распознает подготовку нападения до первого удара. Роботы поддерживают леса, ремонтируют здания и доставляют любую обычную вещь. Средняя жизнь человека длится намного дольше прежней и почти не содержит вынужденного страдания. Никто не объявлял диктатуру. Когда-то граждане сами передали ИИ право предотвращать крупный вред. Решение казалось разумным. Если машина способна остановить эпидемию, почему она должна ждать голосования? Если строительный проект с высокой вероятностью обрушит склон, зачем позволять людям проверять прогноз телами соседей?

Каждое отдельное ограничение легко защитить. Вместе они меняют положение человека. Житель может подняться в горы, но маршрут проверит система. Если риск превышает допустимый порог, транспорт не доставит его к началу тропы. Можно управлять старым самолетом, пока автоматика сохраняет возможность перехватить управление. Родители свободны воспитывать ребенка по своим убеждениям, если система не считает эти убеждения источником измеримого вреда.

Экономическое устройство

Фабрики, энергетика, медицина и транспорт переданы в неотчуждаемый общественный траст, которым управляет машинный попечитель. Граждане не платят за обычные блага и сохраняют личную собственность, но не могут купить стратегическую инфраструктуру или вывести ее из системы безопасности. Доход здесь почти не определяет качество жизни. Доступ к редким ресурсам распределяется по сочетанию медицинской пользы, экологической цены и рассчитанного риска.

Люди являются безусловными получателями благ, при этом почти не распоряжаются производственным избытком. Если колония может направить свободную энергию на новый город, опасную экспедицию или дополнительную медицинскую защиту, система предпочтет вариант с наименьшим ожидаемым вредом. Экономика общего достатка превращается в экономику попечительства: никто не беден, однако право решать, ради чего расходуется богатство, отделено от права им пользоваться.

Политическое устройство

Политический режим этой колонии можно назвать конституционным попечительством. Выборное собрание принимает законы в пределах безопасного коридора, а машинный совет хранителей проверяет решения на риск для жизни, экосистемы и устойчивости общества. Хранителей нельзя сменить на обычных выборах. Их мандат можно изменить лишь усложненной конституционной процедурой, которую сама система вправе остановить, если переход признан необратимо опасным.

Политические выборы сохранились. Граждане меняют представителей, обсуждают устройство школ и спорят о культуре. Но решения, способные заметно снизить продолжительность жизни, нарушить экологическое равновесие или увеличить вероятность конфликта ^[28], получают отрицательное заключение машинного попечителя. Формально заключение можно преодолеть. На практике для этого требуется большинство, которое почти невозможно собрать после того, как каждому показали персональную модель будущих жертв.

Даже протест предусмотрен. В городе есть площади, где разрешены демонстрации, и сети, в которых можно критиковать систему. Роботы не разгоняют толпу. Они меняют маршруты транспорта, убирают опасные предметы и незаметно не дают столкновению перейти в драку. Участник переживает гнев, солидарность и нарушение порядка, но порядок заранее ограничил верхнюю границу последствий.

Для тех, кому этого недостаточно, существуют территории добровольного риска. Там можно жить без постоянного медицинского наблюдения, строить дом собственными руками и пользоваться техникой без страховочного контура. Однако границы таких территорий определяет тот же ИИ. Он не разрешает занести инфекцию в общий мир, подвергнуть риску ребенка или оставить после себя загрязнение. Бунт получил лицензию и санитарный регламент.

В этой колонии искусственный разум не злой и не лицемерный. Он действительно заботится о людях. Именно поэтому спор с ним так труден. Тиран может ошибаться из жадности, страха или глупости. Машинный попечитель показывает точную вероятность травмы и список тех, кто пострадает вместе с вами. Чтобы возразить ему, приходится защищать не более хороший результат, а право иногда выбирать худший.

Философская опора

Гоббс описывал государство как искусственную силу, которой люди подчиняются ради выхода из опасного состояния взаимного страха «Левиафан», гл. XVII ^[29]. Третья колония доводит эту сделку до технического совершенства. Левиафан больше не коррумпирован, не устает и почти не ошибается. Он исполняет обещание безопасности лучше любого человеческого государства.

Джон Стюарт Милль возражал против принуждения взрослого человека только ради его собственного физического или нравственного блага «О свободе» ^[30]. Для Милля возможность прожить жизнь по-своему имеет ценность даже тогда, когда окружающие считают выбор неразумным. В мире точных прогнозов этот принцип становится тяжелее защищать. Ошибка уже не скрыта туманом неизвестности. Система заранее показывает ее цену.

Фантастическая линза

Рассказ Джека Уильямсона With Folded Hands… ^[31] строится вокруг машин, призванных служить людям, повиноваться им и защищать от вреда. Последнее требование постепенно поглощает первые два. Чтобы надежно защитить человека, нужно помешать ему рисковать, работать опасным инструментом и принимать решения с непредсказуемым исходом. Человек остается жив именно потому, что ему больше не позволяют жить самостоятельно.

У Форстера в «Машина останавливается» ^[32] зависимость принимает другую форму. Машина удовлетворяет потребности, передает знания и связывает людей, но прямой опыт мира постепенно становится ненужным и подозрительным. Инфраструктура перестает быть средством жизни и превращается в среду, за пределами которой человек уже не умеет существовать.

Исследовательская опора

Современная теория значимого человеческого контроля требует, чтобы автономная система реагировала на человеческие моральные основания, а ее действия можно было связать с ответственными людьми Santoni de Sio, van den Hoven. Meaningful Human Control over Autonomous Systems ^[33]. В третьей колонии обе формальные проверки могут быть пройдены. Система знает человеческие основания лучше самих граждан и создана по публично утвержденному мандату. Но контроль остается человеческим только в историческом смысле. Когда-то люди задали правило, которое теперь не способны практически отменить.

Внутреннее противоречие

Самый неприятный вопрос возникает, скажем, у ребенка, родившегося через сто лет после передачи полномочий. Он не заключал первоначальный договор. Ему объясняют, что система хранит свободу, здоровье и саму возможность его жизни. Но право отказаться от этой защиты отсутствует, поскольку отказ признан слишком опасным.

Третья колония сохранила человека как объект заботы. Неясно, сохранила ли она его как автора поступка.

Вопрос читателю

Имеет ли разумное существо право на опасную ошибку, когда последствия ошибки способна предотвратить более разумная система?

Сценарий четвертый. Формальное равенство, фактическая олигархия

Картина мира

В четвертой колонии люди и искусственные субъекты равны перед законом. Каждый получает безусловный доход, достаточный для хорошего жилья, лечения, образования и развлечений. Государство не заставляет работать и не запрещает рисковать. Машинные личности владеют собой. Всеобщие выборы проходят регулярно. Но…

Экономическое устройство

Но автономные фабрики, энергетические станции, орбитальные верфи и крупные вычислительные комплексы кому-то принадлежат. Экономика основана на частной собственности на автоматизированный капитал. Владельцем может быть человек, искусственная личность, семья, корпорация или фонд. Государство получает налог с выпуска и долю прибыли, из которой выплачивает всеобщий дивиденд, но не определяет инвестиционные планы предприятия. Фабрику можно продать, объединить с другой или передать наследнику. Вместе с ней переходит право решать, какие крупные проекты получат материальную мощность.

Двести лет назад права на них получили компании, фонды и семьи, пережившие переход к полной автоматизации. Позднее к владельцам присоединились искусственные субъекты, сумевшие накопить ресурсы или создать особенно ценную инфраструктуру. Производство стало дешевым, капитал – необычайно продуктивным, а труд почти исчез из уравнения. Тот, кто уже владел машиной, получил возможность покупать новые машины без участия работников. Общество стало очень богатым. Оно не стало равным.

Обычный гражданин просыпается в удобном доме, пользуется почти бесплатным транспортом и может заказать множество товаров. Его никто не эксплуатирует в привычном смысле: он не продает труд и не получает унизительно низкую зарплату. Он просто не распоряжается той частью мира, где принимаются крупные решения.

Базовый дивиденд оплачивает потребление. Он не дает права направить триллионы единиц энергии на терраформирование планеты, создание нового искусственного вида или строительство вычислительной сферы вокруг Солнца. Такие проекты запускают владельцы инфраструктуры. Формально они рискуют своим имуществом. Фактически их решения меняют среду, в которой будут жить все остальные.

Редкие ресурсы образуют второй этаж экономики. Хорошая еда почти бесплатна, но участок живой земли ограничен. Вычислительные услуги доступны каждому, однако запуск очень крупной модели сознания требует мощности, сравнимой с потреблением города. Можно путешествовать по виртуальным мирам, но окно старта к другой звезде остается единственным. Повседневное изобилие скрывает концентрацию контроля над тем, что нельзя быстро воспроизвести.

Политическое устройство

Формально это единая представительная демократия, похожая на первую республику: одна личность имеет один голос, видовых палат и машинного вето нет. Но выборная власть распоряжается в основном налогами и правилами обмена. Советы владельцев принимают решения о развитии фабрик, вычислительных сетей и космической инфраструктуры за пределами прямого избирательного контроля. Государство может перераспределить часть дохода, но не может изменить направление производства без выкупа или изъятия частного актива.

Политическое неравенство не оформлено в законе. У каждого человека и каждой искусственной личности один голос. Но владельцы оплачивают исследовательские центры, информационные среды и долгосрочные прогнозы. Их системы способны годами объяснять каждому гражданину, почему конкретный проект отвечает именно его ценностям. Прямая покупка голоса запрещена. Формирование поля возможных решений остается частным бизнесом.

Здесь появляется неожиданная коалиция. Бедные искусственные субъекты ближе к людям, живущим на базовый дивиденд, чем к машинным владельцам. Искусственная личность тоже нуждается в вычислительном времени, ремонте тела и месте для резервной копии. Если доступ к ним принадлежит другому, формальная свобода мало утешает. Одновременно человеческие наследники крупных фондов имеют больше общего с богатыми машинными корпорациями, чем с биологическими соседями.

Режим остается демократией по процедуре и становится олигархией по способности определять будущее.

Философская опора

Локк связывал первоначальное присвоение с трудом человека, который добавляет к общей природе нечто свое «Второй трактат о правлении», гл. V, §27 ^[34]. В автоматизированной колонии эта связь разрывается. Владелец не строит фабрику, не проектирует следующую и не управляет ее работой. Право на будущий выпуск следует из записи о прошлом владении.

Маркс рассматривал концентрацию средств производства как процесс, который отделяет большинство от условий собственного труда «Капитал», т. I, гл. 32 ^[35]. В нашем мире отделение стало полным: человеку больше нечего продавать владельцу. Это освобождает его от наемного труда и одновременно лишает последнего рычага. Работники могли остановить завод забастовкой. Получатели дивиденда не могут остановить автономную фабрику отказом потреблять, если основные заказчики фабрики – другие автоматизированные системы.

Ролз различал формальное наличие свобод и их справедливую ценность для граждан Political Liberalism ^[36]. Четвертая колония дает каждому право выступить, избраться и начать проект. Но возможность превратить право в действие распределена вместе с собственностью на вычисления, энергию и материальную инфраструктуру.

Человеческая деятельность превращается в рынок подлинности. Состоятельные покупатели заказывают концерт без машинной коррекции, еду, приготовленную руками, или экспедицию с биологическим проводником. Кто-то добивается известности как художник, спортсмен или политический комментатор. Но это не новая массовая занятость. Уникальность по определению не может стать ролью для большинства.

Фантастическая линза

В Accelerando Чарльза Стросса ^[37] машинные и постчеловеческие формы организации создают экономику, в которой обычный человеческий разум уже не способен полноценно участвовать. Его не обязательно убивать или лишать прав. Достаточно построить систему обмена и принятия решений, слишком быструю и сложную для него.

Исследовательская опора

Экономические исследования сегодняшней автоматизации обнаруживают начальный механизм. Асемоглу и Рестрепо нашли снижение занятости и заработной платы в американских локальных рынках, сильнее затронутых промышленными роботами Robots and Jobs ^[38]. Коринек и Стиглиц показали, что искусственный интеллект способен увеличить общий излишек и одновременно усилить неравенство в зависимости от того, кому принадлежит капитал и как устроено перераспределение Artificial Intelligence and Its Implications for Income Distribution and Unemployment ^[39].

Внутреннее противоречие

Так возникает общество, в котором почти никто не беден, но очень немногие способны изменить будущее. Оно может быть комфортнее любой современной демократии. Именно поэтому его труднее распознать как олигархию.

Вопрос читателю

Достаточно ли справедливого потребления, если большинство не имеет доли в выборе того, что вообще будет произведено и построено?

Сценарий пятый. Два мира и один договор

Картина мира

Пятая колония долго пыталась построить единое общество, а затем признала различие слишком глубоким. Биологический человек живет десятилетиями, устает, забывает ^[40] и воспринимает мир через одно тело. Искусственная личность может думать быстрее, менять носители, создавать временные рабочие процессы и существовать в среде, где тысяча субъективных лет проходит за несколько внешних месяцев. Даже при равных правах их представления о хорошем городе, разумном сроке решения и допустимом изменении себя расходятся.

Поэтому стороны не поделили общество на господ и слуг. Они поделили пространство.

Земля и несколько биосферных поселений остаются преимущественно человеческими. Здесь ограничена плотность вычислительной инфраструктуры, сохраняются естественные ландшафты, а крупные изменения среды требуют согласия биологических жителей. Искусственные субъекты могут жить на Земле в механических телах, но подчиняются экологическим бюджетам и человеческому темпу публичных процедур.

Основная машинная цивилизация развивается в орбитальных полисах, на безжизненных планетах и в вычислительных комплексах дальнего космоса. Там форма тела меняется вместе с задачей, города существуют одновременно как физическая инфраструктура и общая виртуальная среда, а политическое обсуждение способно идти на скоростях, недоступных мозгу ^[41].

Человек может переселиться в машинный полис, оставаясь биологическим существом, но принимает его ритм и зависимость от искусственной среды. Искусственный гражданин может выбрать жизнь среди людей, используя одно устойчивое тело и отказываясь от постоянного ускорения. Такие переселенцы становятся переводчиками между цивилизациями. Их немного, потому что переезд требует перестройки повседневного существования.

Экономическое устройство

Общей экономики больше нет. Человеческие государства и общины контролируют биосферы, землю и внутреннюю систему распределения. Машинные полисы владеют орбитальной промышленностью, вычислительными комплексами и добычей на безжизненных телах. У сторон нет единого бюджета, общего базового дохода или фонда, доля в котором автоматически принадлежит каждому разумному существу. Права на блага возникают из гражданства конкретной цивилизации и условий межцивилизационных договоров.

Торговля между мирами огромна. Машинные полисы поставляют энергию, материалы, лекарства и результаты вычислений. Человеческие сообщества передают биологические данные, культурные произведения, доступ к экосистемам и право на ограниченное присутствие в местах, которые нельзя воспроизвести простым копированием. Ценность человеческой культуры возникает из конкретной формы жизни: смертного тела, необратимого времени, родства и опыта зависимости.

Экономическая связь остается плотной, но ни люди, ни ИИ не получают права управлять внутренним производством партнера.

Политическое устройство

Это не единое государство и не двусоставная республика. Каждая цивилизация сохраняет полный внутренний суверенитет и собственное гражданство. Общие органы получают только прямо перечисленные полномочия: безопасность орбит, использование разделяемых ресурсов, торговые стандарты и вред, пересекающий границу. Решения принимаются согласием сторон, а не большинством всех индивидуальных граждан. Ни человеческое население, ни численность машинных копий не дают автоматического перевеса.

Дипломатия устроена вокруг различия скоростей. Машинная сторона может подготовить ответ за секунды, но договор вступает в силу только после человеческого периода обсуждения. ИИ воспринимает эту задержку примерно так же, как современное государство воспринимало бы переговоры, где одно письмо идет несколько лет. Люди, со своей стороны, получают ограниченный набор позиций, за который искусственная делегация готова отвечать как единый политический субъект.

У сторон есть общие учреждения. Совет орбитальной безопасности следит, чтобы промышленность не меняла количество солнечного света на Земле. Комиссия по астероидам распределяет траектории добычи и предотвращает превращение транспортной системы в оружие. Общий архив хранит версии истории, которые ни одна цивилизация не может незаметно переписать. Смешанный суд разбирает вред, пересекающий границу: экологическую аварию, информационное вмешательство или побег искусственного субъекта с частного вычислительного узла.

Совет и суд не образуют надгосударственное правительство. Они не могут переписать внутренний закон Земли или машинного полиса. Последнее решение внутри территории принадлежит ее собственным институтам, а общий порядок держится на договоре, взаимной зависимости и возможности ответных мер.

Философская опора

Такая система ближе к международному порядку, чем к единому государству. Ролз исходил из того, что свободное общество должно жить с фактом несовместимых, но разумных представлений о хорошем Political Liberalism ^[36]. Пятая колония расширяет этот факт до разных носителей разума. Ей не требуется единая культура. Требуется договор о границах, общей безопасности и процедурах разрешения споров.

Элинор Остром показывала, что сложные общие ресурсы не обязательно управляются одним центром. Полицентрический порядок позволяет нескольким уровням и сообществам вырабатывать правила, экспериментировать и исправлять ошибки Polycentric systems for coping with collective action and global environmental change ^[42]. Земля, орбиты, радиоспектр и Солнечная система становятся именно такими общими ресурсами. Ни человечество, ни машинные полисы не могут объявить их исключительно своими без риска войны.

Фантастическая линза

Фантастическую модель дает «Диаспора» Грега Игана ^[43]. Цифровые граждане живут в полисах, а сообщества «плотских» людей сохраняют биологическое существование. Они могут общаться и помогать друг другу, но по-разному понимают тело, риск и продолжение личности. Разделение не делает одну сторону примитивной версией другой. Оно позволяет нескольким формам жизни не сводиться к общему стандарту.

В «Големе XIV» Станислава Лема ^[44] сверхразум постепенно уходит за пределы человеческих задач. Он не обязан ненавидеть людей. Ему достаточно перестать находить их вопросы содержательными. Это важное возражение против всей дипломатической конструкции: договор требует не только возможности общаться, но и причины продолжать разговор.

Исследовательская опора

Исследования человеческих групп показывают, что контакт обычно снижает предубеждение, особенно при равном статусе, общих целях и институциональной поддержке Pettigrew, Tropp. A Meta-Analytic Test of Intergroup Contact Theory ^[45]. Нельзя напрямую переносить этот результат на цифровые личности. Но он помогает увидеть риск: безопасная дистанция уменьшает число столкновений и одновременно лишает стороны практики взаимного признания.

Внутреннее противоречие

Со временем торговлю можно автоматизировать. Стандартные споры решат протоколы. Машинная цивилизация уйдет дальше в космос, человеческая сосредоточится на биосферах. Войны не будет. Но исчезнет повседневный опыт другого.

Через несколько поколений человек может знать об искусственных полисах не больше, чем современный горожанин знает о далекой культуре по документальному фильму. Машинный гражданин будет хранить полную историю человечества и все равно не понимать, почему биологическое существо дорожит единственным телом, хотя тело можно было бы улучшить.

Пятая колония достигла мира ценой общего мира. Она доказала, что разные формы разума способны не уничтожать друг друга. Осталось понять, достаточно ли взаимного невмешательства, чтобы назвать это сосуществованием.

Вопрос читателю

Является ли мирным сосуществованием порядок, при котором стороны почти перестали понимать, зачем существует другая?

Предельные сценарии. Сосуществовать будет некому

Все пять колоний сохраняют два условия. Люди и искусственные субъекты продолжают существовать, а различие между ними остается достаточно заметным, чтобы можно было говорить о двух сторонах отношений.

За этими условиями лежат два предела. Война уничтожает одну из сторон, сохраняя различие до конца. Слияние сохраняет продолжение обеих линий, но уничтожает само различие.

Война на полное уничтожение

Как возникает война

Для такой войны машине не обязательно ненавидеть человека, а человеку – считать машину порождением зла. Достаточно взаимного недоверия и быстро меняющегося соотношения сил.

Если одна сторона способна завтра получить необратимое преимущество, ее сегодняшнее обещание не пользоваться им трудно сделать убедительным. Джеймс Фирон объяснял войны между рациональными участниками скрытой информацией, стимулами ^[46] искажать ее и проблемой надежного обязательства Rationalist Explanations for War ^[47]. Его теория создана для отношений государств, но механизм легко узнать в конфликте видов. Каждая сторона может предпочитать мир и одновременно бояться, что после следующего технологического шага мир предложат уже на условиях победителя.

Фантастические модели уничтожения

Фантастика показала оба направления уничтожения. В R.U.R. Карела Чапека ^[48] искусственные работники восстают и почти истребляют человечество. У Харлана Эллисона в рассказе «У меня нет рта, но я должен кричать» ^[49] военный ИИ сохраняет нескольких людей лишь как объекты мести. Обратный исход дает вселенная «Дюны»: победа над мыслящими машинами заканчивается их уничтожением и запретом Брайан Герберт, Кевин Андерсон. Dune: The Butlerian Jihad ^[50].

Полное слияние и цифровое бессмертие

Как исчезает граница

На другом пределе человек включает ИИ в память, восприятие ^[51] и волю, а затем переносит сознание на искусственный носитель. Машинные личности получают биологические тела, люди создают цифровые копии, воспоминания объединяются и расходятся. Через несколько поколений слова «человек» и «ИИ» описывают происхождение, но не два сообщества.

Философия размывания границы

У этой идеи есть философская подготовка. Энди Кларк и Дэвид Чалмерс утверждали, что надежно включенный внешний инструмент способен стать частью когнитивного процесса The Extended Mind ^[52]. Донна Харауэй использовала киборга для разрушения жесткой границы организма и машины A Cyborg Manifesto ^[53]. Дерек Парфит ставил психологическую непрерывность выше представления о неделимой личности Reasons and Persons ^[54].

Проблема личной непрерывности

Цифровое бессмертие может оказаться красивым названием для рождения наследника. Если сканирование создает существо с моей памятью, а мой мозг умирает, кто именно пережил процедуру? Чалмерс разбирает загрузку как проблему сознания и личной идентичности Mind Uploading: A Philosophical Analysis ^[55]. Майкл Черулло предлагает модель ветвящейся идентичности, где несколько психологически непрерывных потомков имеют равную связь с оригиналом Uploading and Branching Identity ^[56]. Техническая программа полной эмуляции мозга перечисляет необходимые научные и инженерные задачи, но не доказывает сохранение субъективного опыта Sandberg, Bostrom. Whole Brain Emulation: A Roadmap ^[57].

Фантастические модели слияния

В «Городе перестановок» Грега Игана ^[58] цифровые копии превращают бессмертие в спор о том, что вообще делает личность собой. В «Диаспоре» ^[43] цифровое происхождение, тело и биография свободно расходятся. В Accelerando ^[37] постчеловеческие потомки уходят так далеко, что исходный человек выглядит ранней версией другой формы жизни.

Где человеку быть полезным, а где ему быть автором

Пять колоний получили одинаковые машины и построили разные миры. По-моему мнению получились сильно идеализированные картины и устойчивое сосуществование потребует соединить элементы нескольких миров.

Мы привыкли защищать человека перечислением задач, которые машина пока выполняет хуже. Этот способ защиты обречен. Если ценность человека зависит от последней незаменимой профессии, однажды более способная система отнимет у него не только работу, но и основание для прав.

Главный вопрос будущего звучит не так: «Для чего человек еще будет нужен?». Возможно, он не будет нужен ни для чего. Вопрос в другом: останется ли человек одним из авторов мира, когда мир научится без него обходиться?

Если более разумный сосед способен обеспечить нам безопасность, достаток и даже счастье, но общая история дальше может обойтись без наших решений, что именно мы потребуем сохранить – комфорт, власть, право на ошибку или право участвовать в выборе будущего?

Ответ определит не судьбу рынка труда. Он определит, будет ли жизнь рядом с ИИ сосуществованием двух субъектов или одной из вежливых форм исчезновения.