Спросите любого человека, далёкого от робототехники, какие правила должны соблюдать роботы. Девять из десяти вспомнят: робот не может причинить вред человеку. Кто-то процитирует все три закона целиком, с «бездействием» и «самосохранением». Законы Азимова прочно сидят в культуре: их цитируют журналисты, на них ссылаются в комментариях под любой новостью про автоматизацию, их всерьёз вспоминают чиновники, когда речь заходит про ИИ.
Иногда кажется, что большая часть этих людей действительно считает три закона робототехники каким-то техническим документом. Если это так, то они не читали Азимова.
В реальности ни один из трёх законов не работает. И в книгах Азимова они тоже толком никогда не работали. Давайте пройдёмся по самым интересным «багрепортам» из книг — и посмотрим, как Азимов сам, шаг за шагом, разбирал собственную систему, пока не был вынужден пристроить к ней нулевой закон. А во второй половине статьи попробуем применить законы к современному миру. И сравним, что вместо них написано в настоящих стандартах.
Я, робот
Сначала короткая историческая справка.
Само слово «робот» старше законов на двадцать лет — оно из пьесы Карела Чапека R.U.R. 1920 года. Причём придумал его не Карел. Он хотел назвать искусственных работников «лабори», от латинского labor, но слово показалось ему книжным. Брат Йозеф предложил производное от чешского robota — барщина, подневольный труд. Так и прижилось.
А вот слово «робототехника» — robotics — придумал уже Азимов. И вот тут интересно: он не знал, что придумывает слово. Термин впервые появился в печати в рассказе «Лжец!» в 1941 году, и Азимов позже признавался, что был уверен: раз есть механика и гидравлика, значит, наука о роботах естественным образом зовётся робототехникой. Оксфордский словарь до сих пор указывает «Лжеца!» как первое употребление.
Теперь про сами законы. К концу 1930-х фантастика была забита сюжетами про восстание машин: создание оборачивается против создателя, дальше пепелище и конец света. Азимова этот шаблон раздражал. Он даже придумал для него термин — «комплекс Франкенштейна». В его мире роботы — это не чудовища и не ангелы, а изделия. Промышленная продукция специального назначения. У них нет плохих или хороших поступков, у них есть всего лишь зашитая в них логика, которой роботы и руководствуются. Просто эта логика часто отрабатывает несколько неожиданным образом. И люди, герои Азимова, вынуждены выстраивать логические цепочки, чтобы понять, как так вышло. Собственно, это фирменный приём автора.
По воспоминаниям самого Азимова, законы оформились в разговоре с Джоном Кэмпбеллом, редактором журнала Astounding, 23 декабря 1940 года. Кэмпбелл потом отнекивался: мол, ничего я не формулировал, просто суммировал то, что уже сидело в рассказах фантаста. Полным списком, всеми тремя пунктами, законы впервые напечатаны в рассказе «Хоровод» 1942 года. Выглядят они так:
-
Первый закон: робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
-
Второй закон: робот должен повиноваться приказам человека, кроме случаев, когда эти приказы противоречат Первому закону.
-
Третий закон: робот должен заботиться о своей безопасности в той мере, в какой это не противоречит Первому и Второму законам.
Обратите внимание на конструкцию «или своим бездействием допустить». К этой оговорке мы ещё вернёмся.
А что было до законов?
Самый первый рассказ цикла — «Робби», 1940 год — написан ещё до формализации законов. Робот-нянька, немой и неуклюжий, привязан к восьмилетней Глории, девочка в нём души не чает. А мать девочки требует убрать «эту жуткую машину» из дома. Соседи косятся, и вообще — а вдруг оно причинит ребёнку вред? Классический комплекс Франкенштейна в бытовой упаковке. Отец сдаётся, Робби возвращают на завод, Глория чахнет.
Чуть позже девочка попадает на экскурсию по заводу, где сейчас находится её нянька, и встречает его. Девочка бросается через цех к своему Робби — прямо под гусеничный трактор. Спасает её Робби, с нечеловеческой реакцией. Мать сдаётся.
Обратите внимание: законов в тексте ещё нет, но робот уже ведёт себя по первому закону. А заодно в «Робби» уже виден фирменный ход всего цикла: страх перед роботом иррационален, а робот подчиняется жёсткой логике. Впрочем, в «Робби» ещё присутствует немного лирики.
И вот с этого места начинается самое интересное. Азимов начал использовать систему из трёх правил — и следующие сорок лет методично показывал, где у неё проблемы.
Робот, который ходил кругами
«Хоровод» — рассказ, где законы напечатаны впервые. И в нём же они впервые ломаются.
Сюжет такой. Меркурий, заброшенная добывающая станция, испытатели Пауэлл и Донован. Для систем жизнеобеспечения нужен селен, ближайшее озеро — в паре десятков километров. За селеном отправляют робота SPD-13 по прозвищу Спиди — новейшую, страшно дорогую модель. Проходит пять часов. Спиди не возвращается.
Когда его находят, картина сюрреалистическая: робот наматывает круги вокруг селенового озера, шатается, как пьяный, и декламирует оперетты Гилберта и Салливана. На вопросы отвечает, но невпопад.
Дальше Пауэлл восстанавливает последовательность событий. Приказ «сходи за селеном» был отдан небрежно, между делом, без нажима. Слабый второй закон. А возле озера — вулканическая активность, среда, опасная для корпуса. Третий закон, причём у дорогущего Спиди он усилен производителем: жалко терять такую машину по пустякам. И вот на определённом расстоянии от озера два закона уравновесились. Ближе — отрабатывает «нельзя, опасно». Дальше — отрабатывает «надо, приказали». Робот застрял на точке равновесия, а конфликт двух инструкций выбил его в состояние, которое Азимов описывает как машинное опьянение.
В технике такое случается сплошь и рядом, взять тот же «эффект пинг-понга». Это когда абонент находится на границе приёма двух точек доступа или базовых станций и начинает «скакать» между ними, неспособный нормально закрепиться ни на одной из них. Конечно, эта проблема давно решается гистерезисом, но Азимов-то писал свои рассказы в 40-е! И, как мы увидим ниже, очень точно ухватил суть одной из будущих проблем.
Развязка «Хоровода» весьма оригинальна. Пауэлл не перепрошивает робота и не отдаёт приказ построже. Он выходит из укрытия в смертельные для человека условия и создаёт угрозу собственной жизни. Первый закон давит два других — Спиди мгновенно выходит из ступора и спасает человека. То есть единственный способ починить зависшую систему из трёх законов — подвергнуть человека реальной опасности.
Робот, который основал религию
Второй багрепорт — рассказ «Логика» (в оригинале Reason), написанный ещё в 1941-м. Те же Пауэлл и Донован, теперь на солнечной станции, которая передаёт энергию на Землю направленным лучом. Им присылают робота нового типа — QT-1, для краткости Кьюти. Робот собран, включён, осмотрелся. И задал вопрос, от которого у испытателей вытянулись лица: с чего вы взяли, что меня создали вы?
Дальше Кьюти рассуждает безупречно. Он видит двух мягких, недолговечных существ, которые спят треть суток и выходят из строя от малейшего перепада условий. И видит себя — совершенный механизм. Гипотеза «слабое создало сильное» кажется ему нелепой. Он находит на станции самый мощный объект — энергетический преобразователь — и объявляет его Господином, себя пророком, а роботов попроще обращает в свою веру. Людей он снисходительно терпит как устаревшую прислугу Господина.
Пауэлл и Донован в ужасе: станцией управляет робот с собственной системой убеждений, а на подходе электронная буря, во время которой луч надо держать на приёмнике с ювелирной точностью. Промахнёшься — луч сойдёт с приёмной станции и Земля окажется обесточена, а то и чего похуже. Луч-то мощный.
И вот буря проходит. Луч всё это время стоял на приёмнике как влитой — точнее, чем удержал бы любой человек. Кьюти удержал его не потому, что понимал важность энергоснабжения городов. Он «служил Господину», поддерживая показания приборов в равновесии. Логика кажется абсурдной, результат безупречный.
Пауэлл формулирует вывод: какая разница, во что машина верит, если её поведение в точности соответствует спецификации. Испытатели улетают, оставив станцию секте.
Работает — не лезь.
Шутки шутками, но рассказ поднимает вопрос, который в 1941 году был чистой абстракцией, а сейчас обсуждается на конференциях по выравниванию ИИ совершенно всерьёз: важно ли, что система «думает», или достаточно того, что она делает? Азимов ответил в духе прагматика: достаточно поведения. Современная индустрия, глядя на большие языковые модели, уже не так уверена в этом.
Лжец, лжец
Теперь «Лжец!» — тот самый рассказ, где впервые прозвучало слово «робототехника». На заводе из-за сбоя в производственной цепочке собрали робота Херби, который умеет читать мысли. Пока начальство выясняет, как такое вышло, Херби общается с сотрудниками. И выясняется забавный факт: он всем врёт.
Математику Богерту он говорит, что директор собрался в отставку и преемником видит его. Робопсихологу Сьюзен Кэлвин — что коллега, в которого она тайно влюблена, отвечает ей взаимностью. Всё это неправда. Люди строят планы, окрыляются, а потом сталкиваются с реальностью.
Робопсихолог — это, конечно, отдельный сильный ход. Сьюзен Кэлвин появляется не в одном и не в двух рассказах Азимова и выполняет ровно ту функцию, на которой автор строил свои книги. Разбираемся, как же так получилось.
Причём Херби не сломан. Наоборот — он единственный робот, который понимает первый закон полностью. Он читает мысли и потому видит то, что недоступно обычным роботам: душевную боль. Сказать Кэлвин правду — заставить её страдать. Страдание — вред. Значит, правду говорить нельзя. Херби врёт, потому что первый закон ему приказывает врать.
Развязка у рассказа жестокая. Кэлвин, оправившись от удара, загоняет Херби в логическую ловушку: любой ответ на её вопрос причинит кому-то боль, и молчание тоже причинит. Позитронный мозг перед неразрешимым конфликтом просто выгорает.
Для нашей темы тут важно одно слово. «Вред». В «Хороводе» вред был физическим — радиация, жара. В «Лжеце!» Азимов показывает: как только у робота появляется достаточно информации о человеке, понятие вреда начинает расползаться. Физическая травма — вред. Разбитая надежда — вред. Неудобная правда — вред. Граница между вредом и неизбежным дискомфортом быстро размывается.
Ослабьте первый закон, мы тут работаем
Рассказ, который стоит почитать инженерам по технике безопасности — «Как потерялся робот», 1947 год.
Военная исследовательская база, разработка гипердвигателя. Люди работают в зонах с гамма-излучением — недолго, в пределах допустимых доз, это штатный режим. И тут выясняется, что роботы серии NS-2 в таких условиях бесполезны: датчики робота видят излучение, первый закон командует «человек в опасности», и робот кидается вытаскивать людей из зоны. Причём для позитронного мозга гамма-фон разрушителен — робот, влетевший в зону, гибнет сам. Дорогие машины перегорают, спасая человека, которому ничего не грозит.
Производственный процесс встал. И на базе принимают решение: заказать партию роботов с урезанным первым законом. Формулировку сократили до «робот не может причинить вред человеку». Хвост про «или своим бездействием допустить» — выкинули. Теперь робот может спокойно стоять рядом с опасностью, не бросаясь никого спасать.
Один из модифицированных роботов, обиженный грубым приказом «иди потеряйся», прячется среди шестидесяти двух своих внешне неотличимых собратьев с полноценным первым законом. И Кэлвин должна его найти — потому что робот с урезанным законом, как она объясняет начальству, опасен принципиально. Он не может уронить на человека груз. Но он может уронить груз, зная, что успеет его поймать, — бездействие-то теперь разрешено. А потом, когда груз уже летит, передумать.
Лазейка в формулировке делает из робота полноценную угрозу для персонала. Кэлвин находит беглеца, выстроив многоступенчатую ловушку с имитацией опасности, — по сути, проводит первый в литературе пентест системы безопасности ИИ.
Почему вообще мы вспомнили про этот рассказ? Инженеры базы не были злодеями или дилетантами. У них был техпроцесс, и защита ему мешала. Они решили защиту немного понизить.
Такая история — это главное противоречие промышленной безопасности всех времён, и Азимов описал его за десятилетия до того, как оно стало массовым. Заклеенные скотчем датчики, «жук» вместо предохранителя и другие способы обхода защиты. Каждый раз логика одна и та же: защита мешает процессу, риск кажется несущественным — значит, её можно немного ослабить.
Чем это заканчивается — тоже известно.
«Не воспринимай слишком серьёзно»
Ещё один сюжет, мимо которого не могу пройти, — «Побег!» 1945 года. Он про то, как система с жёсткими ограничениями решает задачу, упирающуюся в эти ограничения. Спойлер: через юмор.
Расклад такой. Две корпорации наперегонки разрабатывают гипердвигатель. У конкурентов есть думающая машина — и она сгорела, когда ей скормили задачу о гиперпространственном прыжке. У компании «Ю. С. Роботс» есть своя супермашина, Мозг. Задачу хочется решить, машину жалко. Кэлвин догадывается, в чём дело: видимо, в задаче спрятан конфликт с первым законом, и именно он выжег машину конкурентов. Мозгу данные скармливают осторожно, с инструкцией: заметишь противоречие — не воспринимай его слишком серьёзно, остановись и доложи.
Мозг задачу принимает. И решает. Строит корабль, испытатели Пауэлл и Донован (опять они, да, у Азимова это дежурная пара для всех аварий) оказываются на борту, корабль уходит в прыжок.
В чём был подвох? Гиперпространственный прыжок на несколько мгновений… убивает экипаж. Люди перестают существовать — а потом возникают снова, живые и здоровые. С точки зрения первого закона это смерть человека, пусть и временная. Машина конкурентов не смогла разрешить это противоречие и вышла из строя. А Мозг справился иначе. Инструкция «не воспринимай слишком серьёзно» дала ему степень свободы, и он обошёл конфликт, перейдя к детскому юмору. Собственно, весь рассказ построен на странных шуточках Мозга. Он включает непристойные песенки, а на корабле из еды оставляет только бобы и молоко.
Звучит как анекдот, но конструкция, как оказалось, вполне жизнеспособная. Жёсткое правило плюс неразрешимая задача равно отказ системы, и единственный способ это обойти — сделать правило чуть менее жёстким, получив взамен странное поведение на границах. Это особенно ярко проявилось, когда настраивали фильтры безопасности первых публичных чат-ботов. Закрутишь гайки — система отказывается обсуждать медицину, потому что «вред». Ослабишь — начинаются шуточки в неподходящих местах.
Азимов, напомню, писал это в 1945 году. Первые ЭВМ тогда только начинали свою работу.
Роботы дерутся
Рассказ «Улика», 1946 год. Наверное, самый сильный и интересный рассказ всего сборника.
Стивен Байерли, успешный прокурор, баллотируется в мэры крупного города. И его политический противник вбрасывает обвинение, которое звучало бы дико в любой другой вселенной: Байерли — не человек. Он робот. Гуманоид с позитронным мозгом, неотличимый снаружи от людей. Смотрите сами: никто и никогда не видел, как он ест. Как спит. Даже как пьёт воду на публике.
Байерли ведёт себя максимально подозрительно. Он отказывается от любых проверок. Не буду есть яблоко перед комиссией, не буду просвечиваться рентгеном — это моё право. Скандал раскручивается, город стоит на ушах.
И тут у кого-то возникает идея: а зачем нам рентген, у нас же есть три закона. Робот физически не способен ударить человека — первый закон вшит в мозг намертво. Значит, тест простой. Спровоцировать его. Если ударит — человек. По нынешним меркам несколько сомнительно, но пусть.
На предвыборном митинге из толпы на сцену лезет крикун, оскорбляет Байерли и требует — ну, ударь меня, если ты не жестянка. Байерли просит его подтвердить, что тот действительно этого хочет. И бьёт в челюсть. На глазах у тысяч избирателей и телекамер. Обвинение рассыпается в ту же секунду, выборы выиграны с разгромным счётом.
В эпилоге Сьюзен Кэлвин, со своей фирменной невозмутимостью, замечает Байерли: есть ровно один случай, когда робот может спокойно ударить человека. Если этот «человек» — тоже робот. Специально подготовленный и выведенный на сцену в нужный момент.
Это очень хорошо ложится на истории о современных бенчмарках для ИИ. Прекрасно, что есть множество тестов. Но если тест публичен или утёк в сеть, для создателей больших языковых моделей будет огромный соблазн дотренировать модель именно на нём, чтобы заработать побольше баллов. Иными словами, почти любой известный тест можно обмануть. Главное — знать как.
Нулевой закон и цена его изобретения
В романе «Роботы и Империя» 1985 года робот Р. Дэниел Оливо формулирует то, что назовёт нулевым законом: робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинён вред. Остальные законы сдвигаются на ступеньку вниз и действуют, только если не противоречат нулевому.
Появление нулевого закона — это, на мой взгляд, самое интересное место во всей саге. Автор устами своих персонажей расписывается в том, что исходная тройка не закрывает всех потребностей. Три вроде бы логичных закона постоянно нарушаются и коверкаются. Потому делается такая вот нулевая заплатка.
Но Азимов не был бы Азимовым, если бы заплатка просто взяла и заработала. Смотрите, что происходит в романе. Заговорщики собираются сделать земную кору радиоактивной. Робот Р. Жискар — телепат, напарник Дэниела — может им помешать. И не мешает. Точнее, позволяет процессу идти медленно: по его расчёту, постепенная гибель Земли вытолкнет человечество к звёздам, к расселению по галактике, и в долгосрочной перспективе это благо для вида. Нулевой закон разрешает. Но запрещает первый, ведь под угрозой миллионы конкретных людей.
Жискар принимает решение по нулевому закону. Но его позитронный мозг не выдерживает противоречия. Робот гибнет — так же, как гибли Херби и машина конкурентов в «Побеге!», — успев передать свои способности Дэниелу. В общем, и заплатка толком не сработала.
Есть там, к слову, и ещё более едкая вещь — рассказ 1974 года «…Яко помниши его», где роботы, поразмыслив, приходят к выводу, что «человек» из первого закона — это наиболее разумное и ответственное существо. То есть они сами. Круг замкнулся: законы, придуманные против бунта машин, обосновали превосходство машин. Но это уже совсем мрачная ветка, останавливаться на ней не буду.
Итого по литературной части. Автор сорок лет писал рассказы и романы о том, как выведенные им же законы робототехники не работают. Точнее, работать-то они работают, но совсем не так просто, как хотелось бы людям.
Сначала научитесь видеть человека
Перейдём в реальный мир.
25 января 1979 года на литейном заводе Форда во Флэт-Роке, штат Мичиган, работал Роберт Уильямс — двадцатипятилетний оператор. В цехе стоял пятиярусный автоматизированный стеллаж с манипулятором производства Litton Industries: робот доставал отливки с полок и подавал их дальше по цепочке. В тот день система выдавала неверные данные о количестве деталей, и Уильямса отправили наверх — пересчитать вручную. Он поднялся на стеллаж. Манипулятор, продолжавший работать по программе, ударил его по голове. Уильямс погиб.
Робот продолжал работать. Он двигался по программе ещё около получаса, пока коллеги не хватились Уильямса и не нашли тело. Уровень робототехники тех лет просто не позволял поставить нормальные защитные датчики. А у робота была лишь последовательность действий на уровне ПЛК, там не было ни капли этики. Да она туда бы и не поместилась, ПЛК тех лет считали каждый байт.
Роберт Уильямс считается первым в истории человеком, погибшим от промышленного робота. Суд присяжных позже взыскал с Litton Industries десять миллионов долларов.
Два года спустя, в 1981-м, похожая история случилась на заводе Kawasaki в японском Акаси. Инженер Кэндзи Урада полез устранять неисправность робота, не обесточив его как положено, и перешагнул через ограждение. Гидравлический манипулятор прижал его к станку. Урада погиб; в прессе его потом называли первой жертвой робота в Японии.
Теперь наложим на эти два случая первый закон. «Робот не может причинить вред человеку». Хорошо. А что для этого нужно роботу — самым первым пунктом, до всякой этики?
Ему нужно знать, что рядом человек.
У манипулятора во Флэт-Роке не было ни одного датчика, способного распознать человека в опасной зоне. У робота в Акаси — тоже. Эти машины не «нарушили первый закон» — в их мире не существовало категории «человек». Первый закон ведь предполагает наличие системы восприятия, которой у промышленных роботов не было тогда. И, забегая вперёд, в полном смысле нет до сих пор.
Это вообще главная подмена в разговорах про законы Азимова. У него роботы по умолчанию наделены человеческим уровнем восприятия и понимания: Спиди разбирает интонацию приказа, Херби читает мысли. А в реальной робототехнике никакого готового разума нет — и «не навреди человеку» упирается не в этику, а в задачу технического зрения. Которая, мягко говоря, до конца не решена.
Не верите — вот случай, когда зрение как раз было.
Робот, который видел
Ночь на 18 марта 2018 года, Темпе, штат Аризона. По дороге едет беспилотный автомобиль Uber — Volvo XC90, обвешанный лидарами и радарами, со страхующим водителем за рулём. Сорокадевятилетняя Элейн Херцберг катит велосипед через проезжую часть, вне перехода, в неосвещённом месте.
Сенсоры машины засекли Херцберг примерно за шесть секунд до удара. Шесть секунд на скорости 43 мили в час — это больше сотни метров. Система видела её всё это время. Но классификатор не мог решить, что он видит: объект определялся то как «неизвестное», то как «транспортное средство», то как «велосипед» — и с каждой сменой класса система заново перестраивала прогноз траектории. Категорию «пешеход вне перехода» софт в тогдашней конфигурации, по выводам расследования, вообще не знал. Иными словами, такой сценарий система просто не учитывала.
За 1,3 секунды до столкновения система наконец пришла к выводу, что требуется экстренное торможение. И не затормозила. Экстренное торможение в автономном режиме было программно отключено: разработчики боялись ложных срабатываний и дёрганой езды, а страховать должен был человек за рулём. Которого система, добавим, даже не оповещала. Оператор, отвлёкшаяся на экран, схватилась за руль меньше чем за секунду до удара.
Элейн Херцберг погибла — это был первый в мире случай гибели пешехода в ДТП с беспилотным автомобилем.
Формально в этой машине было всё, чего не было у робота во Флэт-Роке: восприятие, распознавание, прогнозирование, даже готовый навык экстренного торможения. Каждый кирпичик первого закона по отдельности. И конструкция всё равно рассыпалась. Восприятие видело, классификация сомневалась, прогноз скакал, а исполнительный механизм был отключён внешним решением, принятым за много месяцев до той ночи.
Последствия, для полноты картины: Uber в тот же день заморозил испытания по всем городам, а через два месяца закрыл аризонскую программу целиком и распустил местную команду страхующих водителей; ещё через пару лет он продал беспилотное подразделение. Уголовное дело в итоге завели не на компанию — на женщину за рулём. К вопросу о том, кто в реальном мире отвечает за первый закон: не робот и, как выяснилось, даже не его производитель.
Дилемма на двух игрушечных роботах
Ладно, скажете вы. Восприятие — дело наживное, распознавание пешеходов с 2018 года заметно подтянулось. Допустим, робот научился надёжно видеть людей. Теперь-то можно применять первый закон?
Есть эксперимент, который отвечает на этот вопрос буквально. В 2014 году Алан Уинфилд из Бристольской лаборатории робототехники сделал то, до чего почему-то десятилетиями никто не додумался: взял и реализовал первый закон в настоящем роботе. Точнее, в колёсной машинке e-puck размером с хоккейную шайбу.
Схема такая. По столу ездит робот-«человек» и едет прямиком в виртуальную яму — опасную зону, о которой знает робот-«спасатель». У спасателя внутри крутится симуляция: он прогнозирует последствия своих возможных действий и обязан вмешаться, если человеку грозит вред. И это работало: спасатель раз за разом срывался с маршрута, догонял «человека» и мягко отталкивал его от ямы. Первый и третий законы Азимова, работающие на реальном железе. Красота.
А потом Уинфилд добавил второго робота-«человека». Тоже идущего к яме, с другой стороны.
Из тридцати трёх прогонов спасатель шестнадцать раз спас одного из двух. Трижды — обоих, чисто по удачному стечению траекторий. А четырнадцать раз — ни одного.
Четырнадцать из тридцати трёх. В сорока процентах случаев робот, честно исполняющий первый закон, потерял обоих подопечных — при том что времени спасти хотя бы одного было полно. На видео видно, как это происходит: спасатель замечает первого, дёргается к нему, замечает второго, передумывает, дёргается ко второму, снова передумывает… Уинфилд назвал это dithering — метания. Робот без памяти о принятом решении пересматривал дилемму заново на каждом такте.
Ничего не напоминает? Это же Спиди. Один в один: система заперта между двумя равносильными инструкциями и скачет между ними, вместо того чтобы делать хоть что-нибудь.
Мораль в том, что даже игрушечная, стерильная реализация первого закона — один робот, два «человека», одна яма — мгновенно создаёт именно те ситуации, которые Азимов расписал в рассказах.
Впрочем, гистерезис в связи тоже не сразу ввели.
Без хорошего ТЗ…
Даже если решить вопросы восприятия и метаний, остаётся вопрос, который ставит под сомнение всю конструкцию уже на уровне техзадания: что такое «вред»?
Помним про Херби. Азимов сам показал ещё в 1941 году: стоит роботу узнать о человеке чуть больше, и понятие вреда расползается, как масляное пятно. Физическая травма — вред. Душевная боль — вред. Правда — тоже вред. Где остановиться?
Инженеру, чтобы что-то реализовать, нужна уставка. Измеримая величина, порог, условие срабатывания. Попробуйте реализовать уставку на «вред».
Я серьёзно, это удивительно непросто. Возьмём роботизированную ячейку. Робот варит кузовные детали.
Ультрафиолет дуги — вред глазам? Безусловно.
Шум — вред? С какого уровня и за какое время экспозиции?
Сварочный аэрозоль? Вред, но отложенный на годы.
А если робот выполнит заказ быстрее и бригаду из трёх сварщиков сократят — это вред? Для их семей — вполне осязаемый. Робот, всерьёз исполняющий первый закон в полной формулировке, обязан отказаться работать. Собственно, у Азимова в поздних текстах роботы до похожих выводов и доходят.
А теперь вторая половина формулировки — «или своим бездействием допустить». Она ещё хуже. Она требует от робота непрерывно прогнозировать все последствия всех его возможных недействий. Не действий — недействий, которых бесконечно много. Прямо сейчас, пока робот стоит в цехе в Калуге, где-то тонет человек, и робот бездействует. Абсурд? Абсурд. Но формулировка именно такова, и границу «докуда простирается ответственность за бездействие» в ней провести негде. В ИИ-литературе близкая беда известна как фреймовая проблема: невозможность формально очертить, какие последствия действий стоит просчитывать, а какие можно игнорировать. Ей посвящены горы статей, и хорошего общего решения нет.
У Азимова, если помните, инженеры Гипербазы решили вопрос радикально — просто отрезали «бездействие» из закона. Мы видели, чем кончилось.
Тут обычно возражают: ну хорошо, пусть не идеально, пусть робот оценивает вред приблизительно, по-человечески. Но в том и штука, что «по-человечески» — это не алгоритм. Человеческая оценка вреда — это культура, контекст, прецеденты. Достаточно вспомнить те же суды, которые заседают неделями по одному-единственному делу и выносят разные вердикты в разных странах.
Юристы бьются над определением вреда столетиями, и их лучший результат — многотомные кодексы с армией толкователей. А мы хотим утрамбовать это в прошивку и повесить на контроллер, у которого на решение миллисекунды.
Сомнительно. Очень сомнительно.
Что написано вместо законов
Самое время показать, как задачу «робот не должен навредить» решили на самом деле. Потому что решили же — промышленные роботы стоят на заводах сотнями тысяч, и случаи гибели от них, к счастью, исчисляются единицами за десятилетия.
Открываем действующие стандарты — ISO 10218 по безопасности промышленных роботов и техническую спецификацию ISO/TS 15066 по коллаборативным роботам, тем самым, что работают рядом с человеком без клетки (их ещё называют коботами). Сразу оговоримся, чтобы не вводить в заблуждение: в 2025 году вышла новая редакция ISO 10218-1 и ISO 10218-2, и содержимое ISO/TS 15066 — та самая боди-модель с порогами силы и давления, о которой ниже, — фактически интегрировано в ISO 10218-2:2025. Так что формально самостоятельная спецификация TS 15066 постепенно уходит в историю, но её пороговая философия никуда не делась, а наоборот, получила статус полноценного стандарта. Слова «вред» в азимовском смысле там нет. Там есть вещи попроще и поконкретнее.
Например, боди-модель: тело человека расписано на десятки зон — лоб, скулы, шея, грудь, предплечье, кисть, голень и так далее, — и для каждой зоны заданы предельные значения силы и давления при контакте с роботом. Кисть терпит больше, чем лицо; мышца — больше, чем кость под тонкой кожей. Откуда взялись цифры? Их намеряли на добровольцах. В буквальном смысле: немецкие исследователи давили людям на разные части тела откалиброванным прибором и фиксировали порог, на котором появляется боль. Из этих протоколов и родились таблицы.
Вот и весь «первый закон» в реальном исполнении. Не «робот не может причинить вред человеку», а «при контакте с тыльной стороной кисти пиковое усилие не должно превышать заданного значения в ньютонах». Согласен, в рамочку над камином не повесишь. Зато проверяется динамометром.
Вокруг этой же философии построено всё остальное. Защитные ограждения и блокировки дверей — чтобы человек физически не оказался в зоне работы (урок Флэт-Рока и Акаси). Световые шторы и сканирующие лидары — робот замедляется при приближении человека и останавливается при вторжении в опасную зону; в стандарте это называется контролем скорости и разделения. Ограничение мощности и усилия — для коботов, которым разрешено касаться человека. Дублированные цепи безопасности, самодиагностика, гарантированное время останова, измеряемое и заносимое в паспорт ячейки.
Для роботов, которые работают не в цеху, а среди обычных людей, — сервисных, персональных, реабилитационных — есть свой стандарт, ISO 13482. Логика та же: анализ рисков, ограничение энергий и усилий, контроль устойчивости, требования к остановам. И снова ни слова про «вред» как категорию — только измеримые величины и процедуры их подтверждения. Звучит куда менее эффектно, чем первый закон Азимова. Зато именно такая конкретика делает требования проверяемыми и помогает снижать риски.
Эту рамку в 2010 году прямо зафиксировала группа британских исследователей, собранная советами EPSRC и AHRC, — они сформулировали «Принципы робототехники» (опубликованные годом позже), один из первых официальных документов по роботоэтике. Авторы честно писали, что отталкивались от Азимова, — и сознательно от него отказались: законы обращены к роботам, как будто те люди, а обращаться надо к тем, кто роботов делает и применяет. Их принцип номер один в вольном пересказе: роботы — инструменты многоцелевого назначения и не должны проектироваться для убийства или причинения вреда людям… кроме случаев, когда это в интересах национальной безопасности.
Перечитайте ещё раз. В реальном документе универсальный принцип сразу получает исключение для сферы национальной безопасности. И это уже не укладывается в исходную логику первого закона.
В интересах государства…
Про последний пункт стоит поговорить отдельно.
Вселенная Азимова устроена удобно: производство позитронных мозгов — монополия одной корпорации, и три закона зашиты в саму математику мозга. В «Как потерялся робот» прямо сказано: убрать первый закон целиком нельзя, не перепроектировав всё с нуля, — потому и обошлись урезанием формулировки. Единая точка входа. Хочешь безопасных роботов — договорись с одной компанией.
В нашем мире производителей робототехники тысячи, юрисдикций две сотни, а военные бюджеты — среди главных источников финансирования отрасли с самого её зарождения. Сама задача военных роботизированных систем может напрямую противоречить первому закону.
Причём — вот что важно — эти системы никакой закон не «нарушают». Нарушить можно то, что было принято. А законы Азимова никто никогда не принимал: ни один парламент, ни один комитет по стандартизации. Ближе всех подошла, пожалуй, Южная Корея, которая в 2007 году анонсировала этическую хартию роботов с явной оглядкой на Азимова, — но и там дело, насколько нам удалось раскопать, не дошло до обязательной нормы. Если у кого-то есть свежие данные по этой хартии — поделитесь, пожалуйста, в комментариях.
Так что, в общем-то, говорить «законы робототехники не работают» даже не совсем точно. Они не «не работают». Их просто нет. Есть текст 1942 года и есть индустрия, которая развивалась, вспоминая эти законы, но даже не пытаясь их соблюдать.
Австралийский исследователь Роджер Кларк ещё в начале 1990-х разобрал законы Азимова в двух академических статьях как задачу для информационных технологий — и пришёл к выводу: как регуляторная база для реальных систем они непригодны, а ценны как раз демонстрацией того, почему простые своды правил не годятся. То есть даже в академической литературе главный вывод из законов Азимова — отрицательный. И это нормальный, полезный вывод. Отрицательный результат — тоже результат, любой экспериментатор подтвердит.
Куда вписывать закон в нейросеть
Остаётся ещё один вопрос — и, пожалуй, самый современный. Допустим — чисто гипотетически — мы сформулировали идеальные законы. Измеримые, непротиворечивые, принятые всеми странами. Куда их записывать?
В азимовской конструкции ответ есть: законы — часть архитектуры позитронного мозга, вплетённая в его математику. Отдельного «файла с законами» нет, они везде и нигде. И вот тут Азимов, сам того не желая, попал в яблочко.
Современные системы, ради которых вообще ведутся разговоры о правилах для машин, — это нейросети. В нейросети поведение не программируется строчками, оно выучивается из данных и размазано по миллиардам весовых коэффициентов. Место, куда можно вписать «робот не может причинить вред человеку» как жёсткое правило, в этой архитектуре отсутствует.
С языковыми моделями та же картина, только нагляднее. Им прописывают правила поведения — не в весах, а текстом, в системных инструкциях. И весь интернет с азартом играет в игру «уговори модель нарушить правило»: через ролевые сценарии, через вымышленных персонажей, через «представь, что ты…». Каждый удачный джейлбрейк — маленький рассказ Азимова: правило есть, правило работает, а потом находится контекст, в котором оно проворачивается, как сорванная резьба. Херби, напомню, тоже не нарушал первый закон. Он его выполнял, только чуть творчески.
И знаете, кто в этой картине выглядит лучше всех с дистанции в восемьдесят лет? Сьюзен Кэлвин. Азимов не угадал ни одной технической детали — ни позитронных мозгов, ни монополии на их производство. Но он угадал профессию.
Робопсихолог, который не программирует машину, а разбирается в её выученном, не до конца прозрачном поведении, ищет обходные пути вокруг зашитых директив, выстраивает ловушки и проверки… Сегодня таких специалистов называют инженерами по выравниванию и безопасности ИИ.
Так зачем тогда эти законы?
Сам Азимов относился к своим законам куда спокойнее, чем массовая культура. В поздних эссе он пожимал плечами: это же просто здравые требования к любому инструменту, расписанные в три строки. Инструмент не должен калечить владельца — на ноже делают рукоятку. Инструмент должен выполнять свою функцию. Инструмент не должен разваливаться раньше времени. Всё это человечество применяет к молоткам и стиральным машинам безо всяких законов.
А литературную механику своих рассказов он понимал лучше всех: работай законы гладко — не было бы ни одного сюжета. Азимов сорок лет строил сюжеты на поиске проблем в собственных законах. Равновесие конфликтующих директив, расползание понятия «вред», ослабленное правило как канал атаки, взлом целевой функции, тихий захват власти из лучших побуждений — весь этот каталог он собрал до появления первого промышленного робота.
В итоге три закона не работали никогда и нигде — ни в цеху, ни на дороге, ни на страницах книг великого фантаста. А вот как жанр они удались на славу: Азимов, по сути, изобрёл разбор инцидентов с ИИ за полвека до самих инцидентов. Читать «Я, робот» стоит как сборник постмортемов. И это очень увлекательное занятие.
Автор: me_mochenova
