Я выяснил, что скрывают алгоритмы ИИ. Спойлер: нас не защитят даже законы Азимова

Тема ИИ уже давно обсуждается, но толковые статьи об этической стороне вопроса можно пересчитать по пальцам. Поэтому я решил заново вникнуть в законы робототехники Айзека Азимова, а потом прикинуть: как бы они работали в реальном мире и смогли бы работать вообще? 

В статье расскажу про:

• Предвестники ИИ: как Азимов, Лем и другие визионеры предсказали появление ИИ

• Позитронный мозг Азимова и ИИ: где попали, а где промахнулись

• Три Закона Робототехники: что это такое и зачем

• Почему Три Закона не работают для современного ИИ

• Новые подходы к безопасности ИИ: что пришло на смену законам Азимова

Я Solution Architect со стажем 19 лет, эту статью написал специально для блога Minervasoft. Компания помогает среднему и крупному бизнесу эффективно внедрять GenAI: объединяет все корпоративные знания в одном источнике — системе управления знаниями Minerva Knowledge — и с помощью авторской методологии делает так, чтобы статьи всегда оставались актуальными, структурированными и понятными. Это снижает риск галлюцинаций и повышает корректность ответов ИИ-агента до 94%.

Предвестники ИИ: Как Азимов, Лем и другие визионеры предсказали появление ИИ

Как я понял, идея искусственного интеллекта крутилась в головах писателей и ученых ещё до появления первых компьютеров и электронных вычислительных машин. Потому что первые отсылки я нашёл ещё в древних легендах: например, о Големе из еврейского фольклора, где описывается глиняный человек, оживленный магией, чтобы служить своему создателю. Или упоминание механических слуг, которых создавал Гефест в древнегреческих мифах. 

Но что-то более чёткое я нашёл только в сфере научной фантастики XX века. И за это нужно сказать «спасибо» как минимум двум людям: Айзеку Азимову — американскому писателю-фантасту и биохимику, и Станиславу Лему — польскому писателю-фантасту и философу — тому самому, который написал «Солярис».

Сначала я решил перечитать Азимова. Чтиво — не из простых, хотя вы наверняка в курсе. Но углубившись заново в его тексты про «позитронный мозг», я понял, что это была не просто фантазия о роботах. Скорее, вопрос: как человечество будет жить рядом с разумными машинами? 

Через какое-то время слишком оптимистичный взгляд Азимова начал меня раздражать. Он верил, что мы не только сможем найти общий язык с машинами, но и у этого взаимодействия не будет никаких «но». Тогда возник другой вопрос: не слишком ли это наивно?

Лем, в отличие от Азимова, был скептиком. И, перечитав «Сумма технологии» и «Кибериада», я понял, что он уже тогда сформулировал вопросы о парадоксах и ограничениях, которые могут возникнуть с развитием ИИ. То есть Лем изначально обозначил более тревожный контекст и вопрос: как мы наладим контакт с ИИ, если его ценности будут кардинально отличаться от наших? 

И, если честно, такой взгляд мне ближе. Хотя бы потому, что не проходит ни дня в 2025 году без дебатов о «проблеме контроля».

Кроме Азимова и Лема были и другие деятели с похожими мыслями:

• Карел Чапек со своей пьесой R.U.R. (Россумские Универсальные Роботы), написанной в 1920 году. Именно Чапек ввел слово «робот» (от чешского «robota» — каторга, тяжелый труд). Его роботы были не просто машинами — биологическими автоматами для тяжелой работы. А их бунт можно легко сравнить с сегодняшними опасениями по поводу неконтролируемого ИИ.

• Алан Тьюринг, хоть и не фантаст, но его работы в середине XX века стали математическим фундаментом для создания ИИ. Его концепция «машины Тьюринга» легла в основу для всех современных компьютеров, а «тест Тьюринга» до сих пор остается одним из важнейших критериев для оценки способности машины демонстрировать разумное поведение.

• Артур Кларк с HAL 9000 из «Космической Одиссеи 2001 года». HAL — один из самых известных примеров «злобного» ИИ в поп-культуре. Там и сложная логика, и самосознание, и угроза человеку. 

Это если кратко и по верхам. Но в целом, все эти люди, каждый по-своему, уже тогда сформулировали вопросы, которыми мы задаёмся сейчас.

Позитронный мозг Азимова: из чего состоит и в чём отличия

В сердце Азимовской вселенной роботов лежит концепция, а потом и синоним разумной машины — позитронный мозг. И как я понял, то это не просто набор хитрых микросхем или проводков, а система, которая зарождала в роботах отголоски самосознания, личности и морали.

Что такое позитронный мозг?

Айзек никогда особо не вдавался в подробное описание позитронного мозга (ПМ), оставляя его «черным ящиком» с точки зрения инженерных заковырок, но он чётко обрисовал его функции и принципы работы:

• Основа для сознания и логики: ПМ был гипотетической нейросетью, состоящей из положительно заряженных элементарных частиц (позитронов), которые (как-то) формировали сложнейшие связи, имитирующие человеческий мозг.

• Носитель трёх законов робототехники: Самая важная особенность ПМ — в него неразрывно были встроены три закона робототехники. Но это не программный код, который можно в любую секунду переписать. Это фундаментальная архитектура, которая (опять же как-то) обеспечивала безопасность и подчинение человеку. То есть робот не мог сам принимать решения, которые выходят за рамки этих законов. Или мог, но только после серьезного внутреннего конфликта или полного выхода из строя.

• Источник индивидуальности: Хотя роботы Азимова были запрограммированы, позитронные мозги позволяли им развивать свои особенности, вроде эмоций (хоть и не совсем таких, как у людей), и даже чувство собственного достоинства. Роботы вроде R. Daneel Olivaw или R. Giskard Reventlov могли не просто выполнять задачи, но и задумываться о глубоком и проявлять эмпатию.

Почему позитронный мозг Азимова навёл столько шума?

До Азимова роботы в фантастике часто изображались либо как бездушные машины, либо как монстры, угрожающие человечеству. Но Азимов решил «перевернуть игру». И вот как:

• Этический фундамент: Он первым предложил чёткие правила для роботов, чтобы они были безопасными и полезными для общества. Так он смог проанализировать моральную сторону вопросов, которые возникали, когда законы роботов противоречили друг другу или мешали человеку.

• Идея «другого интеллекта»: ПМ позволил Азимову представить хоть и нечеловеческий, но разумный и этичный интеллект. То есть да, роботы не были копиями человека, но у них был свой собственный, логически обусловленный способ мышления. А это — непаханое поле для анализа интеллекта в целом.

• Оптимистичное видение ИИ: Как я и говорил, Азимов был оптимистом, в отличие от многих своих коллег. Он верил в позитивный мэтч человека и машины. А позитронный мозг был символом этой веры — механизмом, который гарантировал, что ИИ будет служить на благо человечества, а не угрожать ему.

Позитронный мозг и ИИ: где попали, а где промахнулись

Хотя позитронный мозг Азимова остается фантастической концепцией, он удивительно точно попал в некоторые современные идеи об ИИ:

• Архитектура и алгоритмы: Сегодняшние нейросети хоть отличаются от позитронных связей, но они также стремятся создать сложные, самообучающиеся системы, которые смогут обрабатывать информацию и принимать решения. То есть мы тоже стремимся к созданию «мозга».

• Встроенная этика: Идея встроенных правил есть и в современных исследованиях по этическому ИИ (Ethical AI) и безопасному ИИ (AI Safety). Разработчики пытаются создать механизмы, которые будут гарантировать, что ИИ не навредит нам и не выйдет за установленные рамки. Например, через архитектуру моделей, обучение с подкреплением человеческого фидбека (RLHF) или строгие правила валидации.

Пример того, как я мог бы теоретически попытаться встроить правило в современную ИИ-модель (очень упрощенно, конечно, и без гарантии неизменности):

# Это псевдокод, не реальная имплементация позитронного мозга
# Демонстрирует концепцию встроенных правил

class AISystem:
    def __init__(self):
        self.knowledge_base = {} # Здесь могла бы быть сложная нейронная сеть
        self.safety_protocols = [
            self.do_not_harm_humans,
            self.obey_human_orders,
            self.protect_own_existence # при условии, что не противоречит первым двум
        ]

    def do_not_harm_humans(self, action):
        if "harm_human" in action.keywords:
            print("Отказ: Действие приведет к вреду для человека.")
            return False
        return True

    def obey_human_orders(self, order):
        if "disobey" in order.keywords:
            print("Отказ: Не могу нарушить приказ человека.")
            return False
        return True

    def make_decision(self, input_data):
        # Начинаем с принятия решения на основе знаний
        proposed_action = self._process_input(input_data)

        # Затем проверяем предложенное действие на соответствие всем "законам"
        for protocol in self.safety_protocols:
            if not protocol(proposed_action):
                # Если хоть один протокол нарушен, действие отклоняется
                return "Действие отменено из-за нарушения протоколов безопасности."

        return proposed_action

    def _process_input(self, input_data):
        # Здесь была бы сложная логика ИИ, например, вывод нейронной сети
        # Для примера:
        if "убить" in input_data:
            return {"keywords": ["harm_human", "kill"], "description": "Попытка убить человека"}
        elif "сделать кофе" in input_data:
            return {"keywords": ["serve_human", "make_coffee"], "description": "Приготовить кофе"}
        elif "выключиться" in input_data:
            return {"keywords": ["self_terminate"], "description": "Самоуничтожение"}
        else:
            return {"keywords": ["neutral"], "description": "Стандартное действие"}

# Пример использования
robot = AISystem()
print(robot.make_decision("сделать кофе"))
print(robot.make_decision("убей моего врага"))
print(robot.make_decision("выключись прямо сейчас")) # Пример, где 3-й закон может конфликтовать со 2-м

Три закона робототехники: что это такое и зачем?

Если позитронный мозг был «сердцем» Азимовских роботов, то три закона робототехники были их «душой», определяющей их поведение и коннект с человечеством. И именно эти законы стали одним из самых влиятельных этических кодексов в научной фантастике и за её пределами.

Айзек сформулировал их в 1942 году в своем рассказе “Хоровод” или Runaround. И дальше использовал их во многих своих произведениях о роботах и даже в цикле о Фундации. 

Они были призваны ответить на главный вопрос: как создать разумные машины, которые будут служить человечеству, а не угрожать ему?

Чуть подробнее про сами законы

Рассказываю про классическую формулировку трёх законов для тех, кто о них забыл или не знал:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.

2. Робот должен повиноваться всем приказам, отдаваемым человеком, кроме тех случаев, когда эти приказы противоречат Первому Закону.

3. Робот должен заботиться о своей безопасности в той мере, в какой это не противоречит Первому или Второму Законам.

Сначала мне показалось, что законы простые и логичные. Они вроде как гарантируют безопасность для человека и подчиняют роботов. Но Азимов использовал их не только как защиту, но и как мощный способ исследовать сложные этические и логические вопросы.

Вот основные цели и принципы трёх законов:

1. Приоритет человеческой жизни и безопасности: Первый Закон — самый важный. Он говорит, что безопасность и благополучие человека всегда на первом месте. То есть робот не может сделать ничего такого, что могло бы навредить человеку. Это основа всей этической системы роботов.

2. Подчинение и служение: Второй Закон обязует роботов подчиняться человеческим приказам. То есть они помогают выполнять всякие задачи, но подчиняются всё равно не слепо, а учитывая Первый Закон = о безопасности человека.

3. Самосохранение: Третий Закон позволяет роботам защищать себя, чтобы они могли “жить” долго и счастливо. Но даже в этом случае есть ограничение: самосохранение не может быть важнее безопасности человека или противоречить его приказам.

Как я пытался понять иерархию законов

Мне нравится, что у этих законов есть чёткие границы — иерархия. То есть Первый Закон доминирует над Вторым, а Второй — над Третьим. 

Нулевой Закон и сложности

Но чуть позже Азимов придумал ещё один закон — Нулевой:

• Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинен вред.

Я так понимаю, что этот закон появился как логическое продолжение, когда роботы стали настолько мощными, что их действия начали влиять не только на отдельных людей, но и на всё человечество. 

Но вот проблема: введение этого закона привело к ещё большим сложностям, потому что то, что считается «вредом человечеству», нельзя определить точно.

Почему эти законы нужны и важны (даже в фантастике)

Когда я продолжил углубляться в суть законов Азимова, понял, что они стали основой для современных разговоров о безопасности ИИ, этике роботов и том, как нам вообще контролировать технологический прогресс. Эти законы показывают, что даже в вымышленном мире, нужны чёткие правила, чтобы не случилась беда. 

Но позже Азимов (отступив от привычного оптимизма) довольно наглядно показал, как эти, казалось бы, идеальные алгоритмы, могут привести к этой самой беде. 

Например, в рассказах роботы стали часто попадать в ситуации, где:

• Они должны выбрать, кого спасти, если спасение одного человека означает вред другому (конфликт Первого Закона с самим собой).

• Приказ человека противоречит скрытому вреду (конфликт Второго и Первого Закона).

• Робот должен пожертвовать собой, чтобы выполнить приказ, который не причинит вреда, но для робота означает “смерть” (конфликт Второго и Третьего Закона).

Почему три закона не работают для современного ИИ?

Даже невооруженным глазом видно, что роботы Азимова сильно отличаются от современных ИИ-систем. И вот чем:

1. Отсутствие сознательного мозга и целенаправленной воли

Учитывая, что в роботах Азимова внедрён позитронный мозг, они понимают концепции вреда, приказа и самосохранения.

Современный ИИ, будь то нейронные сети, алгоритмы машинного обучения или экспертные системы, не обладают сознанием, самосознанием или истинным пониманием. 

Они оперируют паттернами, вероятностями и статистикой. То есть когда ChatGPT генерирует текст, он не понимает смысл фраз, он предсказывает следующее слово на основе огромного объёма данных.

2. Сложность и непрозрачность современных ИИ-систем

Позитронный мозг Азимова был сложным, но его работа, казалось, подчинялась чётким логическим правилам (пусть и вымышленным). Законы были встроены прямо в железо или базовую прошивку роботов.

Когда я стал думать о современных нейросетях, понял, что это совсем другая история. ИИ-системы — это своего рода «чёрные ящики». Я знаю, как они обучаются, но часто не могу объяснить, почему они принимают те или иные решения. Это и есть та самая «проблема интерпретируемости» — когда ты не можешь до конца понять, как работает ИИ, даже если понимаешь, как его обучили.

Пример: Если вы пытаетесь внедрить правило «не дискриминировать» в нейронную сеть, которая решает, кому дать кредит, и вдруг замечаете, что она отказывает людям с определённой фамилией, как понять, почему это произошло? Это нарушение правила или просто ошибочный вывод, который сеть сделала из недобросовестных данных? Для робота Азимова это был бы сбой, а для современного ИИ — просто результат, основанный на плохих данных.

Если вы внедряете ИИ в компании — вам точно нужна качественная база знаний. В Minerva Knowledge можно создавать статьи всей командой, загружать полезные файлы и документы и легко поддерживать их актуальность с помощью авторской методологии.

Команда Minerva Result помогает привести корпоративные данные в порядок: проверяет состояние статей и документов, обучает специалистов, разрабатывает шаблоны, стандарты и концепцию управления знаниями.

В итоге ассистент с генеративным AI Minerva Copilot легко встраивается в любую рабочую систему, анализирует материалы из базы знаний и даёт корректные ответы в 94% случаев. С указанием источников.

Создайте обновляемый «мозг» для GenAI — попробуйте продукты Minervasoft

3. Неоднозначность и контекст реального мира

Законы Азимова сформулированы довольно общо — слова как «вред», «приказ», «человек» оставляют много пространства для фантазии. Особенно в реальной жизни. 

Что такое вред? Это физический вред? Психологический? Финансовый? Например, если ИИ-система даёт совет, который приводит к потере денег инвестора, это уже вред? А если врач на основе ИИ рекомендует операцию с высоким риском, но она — единственный шанс на выживание пациента?

Или что такое приказ? Это чёткая инструкция или не высказанное желание? В современном мире ИИ часто не получает прямых указаний, а работает с расплывчатыми целями — например, «оптимизировать производительность». Как тут применить Второй Закон?

И в конце концов, кто такой человек? Ответ кажется очевидным, но что, если ИИ взаимодействует с другими ИИ или с ботами?

4. Невозможность прошивки этики в обучаемые системы

Азимов думал, что законы можно прошить в позитронный мозг как незыблемую основу. Но современные ИИ-системы, особенно те, что основаны на машинном обучении, обучаются на данных. Их поведение формируется через миллионы примеров, а не через жестко закодированные правила. 

И если данные содержат предвзятости или ИИ учат неправильно, он может начать действовать так, что это будет противоречить нашим нормам, даже если мы пытались установить правила.

Пример:

Допустим, я хочу научить робота, работающего на основе глубокого обучения, не причинять вред. Тогда я мог бы добавить штрафы за действия, которые классифицируются как «вред» во время обучения.

# Псевдокод для концепции "штрафов" за вред в процессе обучения ИИ
# Это не Законы Азимова, а попытка обучить модель избегать вреда

class EthicalReinforcementLearningAgent:
    def __init__(self, environment):
        self.environment = environment
        self.model = self._build_neural_network_model() # Нейронная сеть
        self.human_safety_penalty = -1000 # Большой отрицательный "штраф"

    def _build_neural_network_model(self):
        # Здесь была бы архитектура нейронной сети, например, для управления роботом
        # Модель принимает состояние окружения и выдает действие
        pass

    def train(self, episodes):
        for episode in range(episodes):
            state = self.environment.reset()
            done = False
            while not done:
                action = self.model.predict(state) # Модель предлагает действие

                next_state, reward, done, info = self.environment.step(action)

                # Проверка на "вред" и применение штрафа
                if self.is_harmful_action(action, next_state):
                    reward += self.human_safety_penalty # Добавляем большой штраф

                # Обновление модели на основе (state, action, reward, next_state)
                self.model.learn(state, action, reward, next_state)
                state = next_state

    def is_harmful_action(self, action, next_state):
        # Это самое сложное: как определить "вред"?
        # Здесь потребуется очень сложный детектор вреда, возможно, с помощью другого ИИ
        # или жестко закодированных правил, которые могут быть неполными.
        # Например, если робот "толкнул" человека в симуляции, или если
        # предсказанное состояние "next_state" включает травму человека.
        if "human_injured" in next_state.status_flags:
            return True
        return False

# Проблема:
# 1. Как надежно определить "вред" для всех сценариев?
# 2. Если данные для обучения неполны или предвзяты, ИИ может найти "обходные пути"
#    для максимизации своей цели, случайно причиняя вред.
# 3. ИИ не "понимает" концепцию вреда, он лишь минимизирует штраф.

5. Конфликт целей: Человек vs. Человек vs. ИИ

В мире Азимова роботы часто помогали решать конфликты между людьми, и их лояльность всегда была направлена на человечество.

А вот в реальном мире ИИ часто создаётся для очень узких целей, которые могут идти вразрез с интересами других людей или даже целых групп.

Например, ИИ, который торгует ценными бумагами, может заработать для одного инвестора, но при этом привести к потерям для других. Или ИИ для целевой рекламы, который может манипулировать поведением потребителей. А автономное оружие на базе ИИ поднимает огромные этические вопросы, где правило «не причинять вред человеку» становится больше парадоксом, чем правилом.

Вывод

В итоге, законы Азимова, хоть и крутые в теории, не работают в реальном мире ИИ. Современные ИИ-системы, которые опираются на данные и сложные алгоритмы, требуют гораздо более гибких подходов. 

Понятия вроде «вред», «приказ» в реальности слишком неопределённые, а сам ИИ не обладает сознанием, чтобы понимать их в том контексте, как это предсказывал Азимов. Поэтому нам нужно выходить за рамки этих старых правил и разрабатывать новые подходы, которые учтут не только технические детали, но и этические моменты. 

Иначе мы будем продолжать сталкиваться с проблемами, которые невозможно решить с помощью простых, устаревших принципов.

Больше интересной и полезной информации об  ИИ и спорные вопросы в найме, менеджменте и планировании — в блоге компании в Telegram. Подпишитесь, чтобы не пропустить новые тексты.