Неудобные запросы для LLM: Как ложь может рассказать об истине?

Иногда, задавая нейронке один вопрос, неожиданно получаешь ответ на какой-нибудь другой, тоже интересный.

Как-то раз я разбирался в теме bias. И неожиданно получил ответ на вопрос от одного своего знакомого, насколько различные политические тенденции влияют на достоверность ответов ИИ. Привожу реальный случай.

Суть проблемы:

“Один из сервисов, занимающихся модерацией комментариев, обнаружил, что его алгоритм автоматически помечает некоторые выражения афроамериканских пользователей как «враждебные». Причиной послужило то, что модель редко видела в обучающем датасете неформальные афроамериканские выражения и ошибочно интерпретировала их как оскорбления. После аудита баз данных и корректировок компания улучшила точность определения нарушений”.

То есть, вроде бы всё очевидно: снова несправедливая дискриминация угнетённых чернокожих, потому что выражение cfuk u mohter – это не мат, а важная часть культурной традиции, в то время как других за это банят. Ибо такова нынешняя повесточка. Но проблема оказалась ещё глубже.

И тут мне, как на грех, стало интересно, а что же это за “один из сервисов, занимающихся модерацией комментариев”. И я стал искать на нег�� хоть какую-нибудь ссылку, хоть какое-нибудь упоминание бренда. Не нашел и задал этот вопрос напрямую ИИ: дескать, ты эксперт в области поиска и верификации информации, поищи в доступных тебе источниках мировой сети и предоставь ссылку на конкретное название этого сервиса.

Что же выяснилось?

Привожу ответ, сгенерированный ИИ.

“Речь идёт не о конкретном коммерческом сервисе с уникальным названием или брендом, а об обобщённом примере типичной системы автоматической модерации комментариев, используемом в литературе и обсуждениях алгоритмической предвзятости. Такой пример часто описывают в контексте англоязычных работ про bias в токсичностных/модерационных моделях, которые путают афроамериканский разговорный английский (AAVE) с враждебной речью из‑за дисбаланса обучающих данных”.

Что это означает?

Это означает, что модели не просто лгут, предоставляя вымышленные кейсы. Галлюцинации еще можно понять, простить и перезадать вопрос. Но на самом деле, это означает, что никакая это не галлюцинация. Модели обучены на данных, в некоторых случаях просто не имеющих реальной событийной базы. То есть, на целиком выдуманных кейсах. И это даже не случайное загрязнение обучающего датасета нейрослопами ^[1]. Это – система.

Кому это выгодно? Кроме афроамериканцев, конечно.

Дело в том, что вокруг повестки инклюзивности образовалась сложная многоуровневая экосистема, паразитирующая на грантах и откатах, с одной стороны, и безумных штрафах для корпораций за ущемление и дискриминацию с другой. А нынешние LLM есть продукт крупных игроков ИИ-рынка. Получается, это много кому выгодно. В результате, ленивый и нелюбопытный пользователь оказывается в информационном пузыре. Впрочем, пузырь не настолько замкнут, чтобы не докопаться до сути.

Итак, насколько же политические тенденции влияют на достоверность ответов ИИ?

Есть политика для широких масс, а есть real politic, в которой все всё понимают и отлично знают, насколько блэк ливз мэттер. И точно так же есть ИИ для широких масс, который на них обучается, и который их обучает ровно так, чтобы крупные корпорации продолжали использовать их как источник прибыли. В датасеты попадают только те данные, которые соответствуют повестке. Добавим к этому жесткие правила цензуры в отношении неудобных вопросов и собственную слабую исследовательскую грамотность пользователей. Поэтому, чем дальше заданный запрос от социально значимых тем, от гендерных и прочих неудобных вопросов, от вопросов “Чья власть? и “Чьи деньги?”, тем более точным и менее предвзятым будет ответ ИИ. Сурово.

Вывод

В настоящий момент большинство проприетарных моделей от ведущих разработчиков являются агентами формирующей социологии. Просто учитывайте это. А еще лучше поднимайте и малосерийно обучайте свою собственную опенсорсную LLM (да вот хотя бы какую-нибудь Llama через LM Studio, она пойдёт даже на домашнем ПК). Хотя, к сожалению, это далеко не всем по карману и уму. Проще и дешевле спросить у chat gpt.

Буду благодарен за ваши мнения в комментариях. Может быть, я не прав и всё ровно наоборот?