Наблюдение: ИИ-генератор изображений от Apple предвзят в расовых вопросах

Исследователь и специалист по машинному обучению ^[1] Йохем Гитема (Jochem Gietema) заметил ^[2], что ИИ-генератор изображений от Apple предвзят в расовых вопросах. Например, когда он попросил обработать свою фотографию в стиле «баскетбол», то нейросеть сделал его чернокожим.

Генератор изображений от Apple доступен в приложении Playground. В нём можно выбрать фотографию человека и задать дополнительные параметры, например, выбрать локацию, одежду или аксессуары. Если в предложенных вариантах нет ничего подходящего, то можно описать желаемое изображение словами. 

При этом система фильтрует запросы и не позволяет генерировать жестокие картинки или знаменитостей. Также важно отметить, что в Playground можно создавать изображения только в мультипликационном стиле или в виде рисунка. Это ещё один уровень безопасности от Apple, мешающий создавать фотореалистичные картинки.

Йохем Гитема загрузил в приложение свою фотографию и сгенерировал портрет без дополнительных условий. В некоторых случаях у исследователя возникло ощущение, что модель не может правильно различить черты лица, поэтому иногда делает Гитема чернокожим.

После ещё нескольких экспериментов Гитема заметил, что нейросеть предвзято относится к запросам, связывая некоторые темы с расой. Например, если попросить нейросеть обработать фотографию с запросом «катание на лыжах», то персонаж на картинках будет с белой кожей, а с запросом «баскетбол» — чернокожим.

Ещё несколько примеров:

Исследователь отмечает, что у него получилось воспроизвести такое поведение ^[3] нейросети только с одной своей фотографией. Скорее всего это происходит из-за того, что модель не смогла правильно распознать черты лица из-за освещения. При этом Гитема уверен, что можно подобрать запрос так, чтобы предвзятость можно было воспроизвести с любой фотографией.