Искусственный интеллект Claude на службе в Пентагоне

Та же модель искусственного интеллекта ^[1], которая может помочь вам составить маркетинговое письмо или быстро приготовить ужин, использовалась и для нанесения ударов по Ирану.

Согласно отчету в Wall Street Journal, Центральное командование США использовало ИИ Claude от Anthropic для «оценки разведданных, определения целей и моделирования боевых сценариев» во время ударов по стране.

Несколькими часами ранее президент США Дональд Трамп приказал федеральным ведомствам прекратить использование системы Claude после конфликта ^[2] с ее создателем, но этот инструмент настолько глубоко укоренился в системах Пентагона, что на его замену более удобным в использовании аналогом уйдут месяцы. Он также использовался в январской операции по поимке Николаса Мадуро.

Но что на практике означают «разведывательные оценки» и «определение целей»? Отмечал ли Claude места для нанесения ударов или оценивал возможные потери? Никто этого не раскрыл, и, что тревожно, никто и не обязан этого делать.

Искусственный интеллект уже давно используется в военных целях, например для анализа спутниковых снимков, обнаружения киберугроз и управления системами противоракетной обороны. Но теперь на поле боя применяются чат-боты — та же технология, которую миллиарды людей используют для решения рутинных задач, таких как написание электронных писем.

В ноябре прошлого года компания Anthropic заключила партнерское соглашение с Palantir Technologies Inc., компанией, занимающейся анализом данных и выполняющей большой объем работ для Пентагона. Anthropic превратила свою большую языковую модель Claude в механизм логического вывода в системе поддержки принятия решений для военных.

Затем, в январе, компания Anthropic подала в Пентагон заявку на финансирование в размере 100 миллионов долларов на разработку технологии автономного роевого управления беспилотными летательными аппаратами с помощью голосовых команд. Идея компании заключается в том, чтобы использовать систему Claude для преобразования команд командира в цифровые инструкции для управления флотом беспилотников.

Его заявка была отклонена, но суть конкурса заключалась не только в том, чтобы обобщать разведывательные сводки, как можно было бы ожидать от чат-бота. Этот контракт предполагал разработку «инструментов для повышения осведомлённости и обмена информацией о целях», а также «запуска и уничтожения» потенциально смертоносных роёв дронов.

Примечательно, что все это происходит в условиях отсутствия нормативной базы и с использованием технологий, которые, как известно, допускают ошибки ^[3]. Галлюцинации больших языковых моделей — результат их обучения ^[4], когда их поощряют за то, что они хватаются за первый попавшийся ответ, вместо того чтобы признать неопределенность. Некоторые ученые считают, что проблему конфабуляции в искусственном интеллекте, возможно, так и не удастся решить.

Это не первый случай, когда ненадежные системы искусственного интеллекта используются в военных целях.

Lavender — это база данных на основе искусственного интеллекта, которая помогала выявлять военные объекты, связанные с ХАМАС в секторе Газа. Это не была большая языковая модель, но она анализировала огромные массивы данных наблюдения, таких как социальные связи и история местоположений, и присваивала каждому человеку оценку от 1 до 100. Если оценка человека превышала определенный порог, Lavender помечала его как военный объект.

Проблема заключалась в том, что Lavender ошибался в 10% случаев, согласно расследованию, опубликованному израильско-палестинским изданием +972. «Около 3600 человек пострадали по ошибке», — рассказывает Мариарозария Таддео, профессор цифровой этики и оборонных технологий в Оксфордском институте интернета.

«В этих системах столько невероятных уязвимостей и такая крайняя ненадежность… для чего-то столь динамичного, чувствительного и человеческого, как война», — говорит Эльке Шварц, профессор политической теории в Лондонском университете королевы Марии и автор книги «Машины смерти: этика насильственных технологий».

Шварц отмечает, что искусственный интеллект часто используется в военных целях для ускорения процессов, что может привести к нежелательным последствиям. Более быстрые решения принимаются в большем масштабе и с меньшим контролем со стороны человека. По ее словам, за последние полтора десятилетия использование искусственного интеллекта в военных целях стало еще более непрозрачным.

Секретность встроена в саму суть работы лабораторий по разработке ИИ еще до того, как искусственный интеллект начали использовать в военных целях. Эти компании отказываются раскрывать информацию о том, на каких данных обучаются их модели и как их системы приходят к тем или иным выводам.

Конечно, военные операции часто приходится держать в секрете, чтобы защитить участников боевых действий и сбить с толку противника. Но оборона строго регулируется международным гуманитарным правом и стандартами испытаний оружия, которые теоретически должны распространяться и на использование искусственного интеллекта. Однако таких стандартов либо нет, либо они совершенно не соответствуют требованиям.

Таддео отмечает, что статья 36 Женевской конвенции требует проведения испытаний новых систем вооружения перед их внедрением, но система искусственного интеллекта, которая обучается на основе окружающей среды, становится новой системой при каждом обновлении. Это делает применение данной нормы практически невозможным.

В идеальном мире такие правительства, как американское, раскрывали бы информацию о том, как эти системы используются на поле боя. И такой прецедент уже был. Американцы начали использовать вооруженные беспилотники после терактов 11 сентября и расширили их применение при администрации Барака Обамы, отказываясь признавать существование такой программы.

Потребовалось почти 15 лет утечек документов, непрекращающегося давления со стороны прессы и судебных исков со стороны Американского союза защиты гражданских свобод, прежде чем в 2016 году Белый дом при Обаме наконец обнародовал данные о жертвах ударов беспилотников. Многие сочли, что эти цифры занижены, но они позволили общественности, Конгрессу и СМИ впервые призвать правительство к ответу.

Следить за работой искусственного интеллекта будет еще сложнее, и потребуется еще большее общественное и законодательное давление, чтобы создать аналогичную систему отчетности.

По словам Шварца, цель состоит не в том, чтобы раскрыть подробности использования Claude в ходе какой-нибудь операции вроде «Эпической ярости», а в том, чтобы показать общую картину. И особенно важно раскрывать информацию, когда что-то идёт не так.

В нынешних общественных дебатах о противостоянии Anthropic и Пентагона — о том, что законно и этично в сфере искусственного интеллекта, когда речь идет о массовой слежке за американцами или создании полностью автономного оружия, — упускается из виду более важный вопрос: почему мы не видим, как эта технология уже используется на войне?

Учитывая, что такие новые и непроверенные системы склонны к ошибкам, это крайне необходимо. «Мы как общество еще не решили, согласны ли мы с тем, что машина будет решать, убивать человека или нет», — говорит Таддео.