Код неравенства: как ИИ научился дискриминировать

Одна из самых впечатляющих способностей искусственного интеллекта ^[1] – находить закономерности, которые ускользают от человеческого взгляда. В так называемом «обучении без учителя» разработчики не размечают данные заранее, а позволяют модели самостоятельно выявлять скрытые структуры. Результаты порой поражают: алгоритмы обнаруживают признаки рака на снимках задолго до того, как их заметит опытный радиолог.

Но у этого подхода есть оборотная сторона: мы никогда не знаем заранее, какие именно закономерности уловит машина.

Допустим, мы обучаем модель на наборе изображений:

Человек мгновенно понимает разницу между котом и коалой. Но что усвоила машина? Если после обучения ^[2] показать ей следующий снимок:

…что она ответит? Научилась ли она отличать виды животных – или просто запомнила, что «пушистое на дереве» и «пушистое не на дереве» – это разные категории?

Именно поэтому обучение без учителя требует осторожности. Данные нужно отбирать тщательно, иначе модель рискует усвоить уроки, которые окажутся бесполезными – или откровенно вредными.

Дискриминация без дискриминаторов

В 2018 году агентство Reuters ^[3]сообщило, что Amazon свернула проект по автоматическому отбору резюме. Причина оказалась неожиданной: алгоритм систематически занижал оценки женщин-кандидатов, даже если их квалификация не уступала мужской, а порой и превосходила ее.

Модель обучали на резюме успешных сотрудников за последние десять лет. Большинство из них были мужчинами – такова была реальность технологической отрасли. Машина сделала «логичный» вывод: мужчины предпочтительнее. Она понижала в рейтинге резюме, содержащие слово «women’s» (например, «капитан женского шахматного клуба»), и занижала оценки выпускницам женских колледжей.

Инженеры попытались сделать алгоритм нейтральным к гендерной лексике, но модель находила обходные пути: выводила пол косвенно и продолжала дискриминировать. Не найдя решения, проект закрыли.

Это не единичный случай. В 2023 году Дерек Мобли – темнокожий мужчина за сорок, страдающий тревожным расстройством и депрессией – подал иск против компании Workday, разрабатывающей программное обеспечение для найма. Мобли обвинил алгоритм в дискриминации по расе, возрасту и состоянию здоровья.

На первый взгляд его резюме безупречно: выпускник Морхауса – одного из старейших исторически черных колледжей, опытный IT-инженер с работой в HP и Налоговой службе США. Но после сотен отказов Мобли заподозрил неладное. По его мнению, алгоритм вычислил его расу по месту обучения, возраст – по датам в резюме, а психическое здоровье – по ответам в личностных тестах. И использовал эти выводы против него.

Ключевой момент: ни один из этих алгоритмов не создавался с целью дискриминировать. Amazon активно пыталась предотвратить сексистские выводы – и потерпела неудачу. В юридической терминологии это называется «различием в последствиях» (disparate impact): формально нейтральные практики, которые все равно приводят к дискриминации по защищенным признакам.

Проблемы возникают, когда ИИ принимает решения о судьбах людей. Но для повседневных задач – написания текстов, анализа данных, автоматизации рутины – нейросети остаются мощным инструментом.

Делегируйте часть рутинных задач вместе с BotHub! 

Для доступа к сервису не требуется VPN, и можно использовать российскую карту.

По ссылке вы можете получить 100 000 бесплатных токенов ^[4] для первых задач и приступить к работе прямо сейчас!

Два взгляда на одну проблему

Когда в 2024 году Колорадо принял первый в США комплексный закон об искусственном интеллекте, законодатели выделили «высокорисковые» сферы – здравоохранение, жилье, образование, трудоустройство – и запретили «алгоритмическую дискриминацию». Закон прямо определяет ее как «незаконное различие в обращении или последствиях, неблагоприятное для людей по защищенным признакам».

Европейский закон об ИИ идет схожим путем. Статья 10 требует проверять системы на «предвзятости, способные повлиять на здоровье и безопасность людей, негативно отразиться на основных правах или привести к дискриминации, запрещенной законодательством Союза». Более того, закон разрешает обрабатывать чувствительные данные – расу, этничность, пол – «ровно в той мере, в какой это строго необходимо для обнаружения и исправления предвзятости».

Оба закона признают фундаментальный факт: в отличие от людей, системы ИИ не имеют отношения к выносимым суждениям. Они учатся на данных и делают любые выводы, которые эти данные позволяют, – независимо от того, предвидели мы их или нет, одобрили бы или ужаснулись. Машины способны воспроизводить человеческую предвзятость, сами не будучи предвзятыми.

«Я не вижу цвета»

Техасский закон о надлежащем управлении ИИ предлагает радикально иной подход. Он запрещает только те системы, которые созданы «с единственным намерением» дискриминировать. Более того, закон прямо указывает: «одного лишь различия в последствиях недостаточно, чтобы доказать намерение».

Иными словами, недостаточно показать, что система явно дискриминирует по расе или полу. Нужно доказать, что ее спроектировали именно для этого – и ни для чего другого.

На практике такой закон пропустит подавляющее большинство случаев алгоритмической предвзятости, потому что доказать намерение почти невозможно. Возможно, в этом и был замысел.

В январе 2025 года президент Трамп издал указ «О предотвращении “вок”-ИИ в федеральном правительстве», запрещающий госагентствам закупать системы, содержащие «идеологические предубеждения или социальные программы» – в частности, инициативы по разнообразию, равенству и инклюзивности (DEI).

Но что считать DEI в модели? Согласно указу, система «вок», если она: подавляет или искажает фактическую информацию о расе или поле; манипулирует расовым или половым представительством в результатах; включает концепции критической расовой теории, трансгендерности, бессознательной предвзятости, интерсекциональности, системного расизма; дискриминирует по расе или полу.

Заметьте противоречие. Международная компания, соблюдающая европейские нормы, будет тестировать свои системы на скрытую предвзятость и корректировать параметры, чтобы избежать дискриминационных результатов. Но в США те же самые усилия могут квалифицироваться как «манипуляция расовым или половым представительством» или «внедрение концепций бессознательной предвзятости и системного расизма».

Слепой ведет слепого

Как мы оказались в таком тупике? И американские, и европейские власти декларируют неприятие дискриминации – но приходят к противоположным выводам о том, как ее выявлять и устранять в системах ИИ.

Ответ кроется в давнем споре, который предшествует нынешним культурным войнам вокруг DEI и «вокизма». На протяжении десятилетий консервативные мыслители, включая председателя Верховного суда Джона Робертса, утверждали: «Способ прекратить дискриминацию по расе – перестать дискриминировать по расе». Они предлагают сосредоточиться исключительно на намерениях и полагают, что любые сознательные попытки избежать расовой дискриминации неизбежно порождают новые проблемы.

Левые возражают: между тем, что мы намеревались при создании законов и институтов, и тем, какие результаты они дают на практике, – пропасть. Дорога в антиутопию вымощена благими намерениями, а притворство не создает равных возможностей. Поэтому либералы допускают учет расы «в той мере, в какой это строго необходимо для обнаружения и исправления предвзятости» – как лаконично сформулировал европейский закон.

Долгое время в американской судебной практике существовало разделение: иски о нарушении конституционных гарантий равной защиты требовали доказательства намеренной дискриминации, тогда как дела по Разделу VII Закона о гражданских правах допускали аргумент о «различии в последствиях». Но консервативные политики и судьи последовательно стирают это различие, оставляя лишь намерение как основание для претензий.

Этим объясняется, почему Техас и администрация Трампа стремятся изгнать концепцию disparate impact из регулирования ИИ.

Зеркало, которое не видит отражения

Проблема в том, что практически никто не создает расистский или сексистский ИИ намеренно. Большинство разработчиков искренне стремятся сделать полезный, объективный инструмент, который работает как заявлено – именно этого хотят клиенты.

Сам ИИ, судя по всему, ничего «не хочет» – он лишь воспроизводит паттерны прошлого человеческого поведения ^[5]. Он держит зеркало перед человечеством, не замечая и не понимая, когда люди вели себя дурно. Результат – явно дискриминационные решения без явного виновника и без защиты для тех, кого эти решения задели.

Урок для всех нас

Самое примечательное в этой ситуации – как она обнажает проблему узкого запрета только намеренной дискриминации, причем не только применительно к ИИ.

Как бы мы ни гордились способностью понимать и корректировать собственные суждения, правда в том, что мы часто не осознаем, как нас сформировали прежние человеческие паттерны и предубеждения. Машинное обучение копирует человеческие предположения и поведение ^[6], принимая за норму то, что распространено, – точно так же, как дети копируют родителей, сверстников и общество вокруг.

Теория «различий в последствиях» разрывает этот порочный круг – в отличие от подхода, сфокусированного лишь на намерениях. Она отвергает субъективный анализ ментальных состояний и смотрит на измеримые результаты. Для систем ИИ, у которых, вероятно, нет «ментальных состояний» в нашем понимании, disparate impact – единственный осмысленный способ оценить предвзятость.

Но для правых «disparate impact» звучит как синоним «вокизма» или DEI. Это ложное отождествление мешает понять, почему доказать намеренную дискриминацию в ИИ практически невозможно.

Левые давно спорят с правыми о «цветовой слепоте». Мы все видим расу и учитываем ее – пусть даже бессознательно. Минимум, что мы можем сделать, – осознанно учитывать эти факторы, чтобы снизить вред и продвинуть равенство.

Это в полной мере относится и к ИИ. Можно приказать модели игнорировать расу и пол – но это не помешает ей вывести эти категории самостоятельно. И когда это происходит, заявление «мы не видим цвета» не оправдывает использование предвзятых инструментов с безрассудным пренебрежением к их изъянам.