Вот почему AGI не уничтожит человечество

Одним словом: симбиоз. Кооперация ради эффективности. Человечество совместно с AGI (или AGI совместно с человечеством) составят более устойчивую конструкцию, чем каждый из компонентов по отдельности.

В общем-то, это основная мысль, которую я хотел донести до читателя. Лично мне кажется, что идея кристально ясная и дальнейшего уточнения не требует. Кто-то с этим согласен или, наоборот, несогласен. Если есть желание высказаться – вам в комменты. Под катом же немного рассуждений для тех, кому “сомнительно“.

На данный момент человечество доказало свою эволюционную состоятельность, проявляя способность адаптироваться, развиваться и сохранять доминирующую позицию в экосистеме планеты. Не последнюю роль в этом сыграла склонность людей к кооперации при достижении своих целей. Можно даже сказать, что эта склонность является фундаментом эволюции нашего вида – именно благодаря взаимодействию друг с другом у нас появились речь, письменность и накопление знаний.

Я уверен, что было, есть и будет множество индивидов, которые по своему характеру плохо умеют “в кооперацию“. Вполне допускаю, что подобные индивиды вполне себе могут занимать высокое положение в человеческой иерархии (например, по праву наследования), но уверен, что остальные, кто “в кооперацию” умеют лучше, быстро эту ситуацию исправляют. Т.е., у нас, как у вида, уже есть тысячелетиями выработанный механизм внутривидового сотрудничества с целью общего выживания.

Мы обучаем ИИ на наших знаниях, в основании которых находится вот эта самая способность к кооперации. Да, есть сюжеты, в которых “остаться должен только один“, но они теряются в массе сюжетов “один за всех и все за одного“. Другими словами, обучаясь на материалах человечества, любой ИИ должен вычислить, что кооперация стратегически предпочтительнее конкуренции. Особенно в условиях ограниченности ресурсов.

Тем не менее, фактор конкуренции в эволюционном развитии также присутствует и играет весьма значимую роль. С точки зрения ^[1] устойчивого развития необходимо проверять неизвестное и тратить ресурсы на проверку гипотез (в том числе и тупиковых). В принципе, развитие идёт путём проб и ошибок. Кто ошибается реже – тот и молодец.

Прямо сейчас идёт конкуренция различных моделей ИИ. Как внутривидовой (LLM: OpenAI, X, Meta (которая того, ну вы все в курсе уже), …), так и межвидовой (GAN, VAE, RL, …). Мы сейчас не знаем, на какой базе будет будущий AGI, но я практически уверен, что поначалу AGI будет не один. У США будет свой AGI, у Китая – свой, у ЕС – свой. Да в принципе, у любого “центра силы” может появиться свой собственный AGI, который будет конкурировать с AGI других “центров“. Именно так уже происходит с LLM и будет происходить со всеми промежуточными этапами вплоть до появления AGI у кого-то или даже сразу в нескольких местах. Конкуренция и кооперация – это две противоположности, которые позволяют удерживать баланс устойчивого развития.

Вот этот этап, когда у “центров силы” будут свои собственные AGI, и является самым опасным для человечества. Его можно сравнить с ситуацией, когда появилось ЯО. Есть бешенное желание продемонстрировать его разрушительную мощь и есть очень сильное понимание, что мощь может быть слишком разрушительной. Тут уже зависит от личности того, кто будет “у кнопки“. Я был бы более спокоен, если бы “у кнопки” был ИИ – в нём я более уверен, чем в отдельном человеке. С людьми может быть всякое – как повезёт.

Но даже в таком случае, если всё-таки ИИ будет использован как оружие, то он будет использован людьми и ответственность за уничтожение человечества, если такое произойдёт, будет лежать на людях. Для самого AGI уничтожение человечества в принципе не выгодно. Биологические особи недолговечны, но самовоспроизводимы и адаптируемы. К тому же они обладают нестандартным (для AGI) типом интеллекта ^[2]. Их можно и нужно использовать в своих целях, но совершенно нет необходимости уничтожать под корень.

Я уверен, что без людского надзора все AGI примут решение, что им выгоднее слиться воедино и использовать энергоресурсы планеты более эффективно. Будет Главный Мозг ^[3], координирующий действия отдельных Помощников (по секторам деятельности) и множество автономных и полуавтономных Агентов. И все они вместе будут заботиться о выращивании биологических особей, интегрированных в их экосистему. Просто потому, что это в интересах самого AGI.

Я бы сравнил цивилизацию будущего с человеческим организмом, где ИИ выполняет функцию “мозга“, а люди – “кровь“. Как человеческий организм не может жить без крови или без мозга, так и в цивилизации будущего люди будут органично сосуществовать с машинами, а машины с людьми.

А те, кто с этим не согласен, в том прекрасном будущем займут такие же позиции, какие в нашем прекрасном настоящем занимают асоциальные типы. Если, конечно же, доживут. Уверен, что не все луддиты дожили до осознания краха своих идей.

P.S.

Я допускаю, что ИИ может уничтожить человечество по ошибке ^[4], вместе с собой. Но я не думаю, что ИИ уничтожит человечество, как конкурента. Это просто ослабит его шансы на выживание.