Discord заявила, что ошибка в системе модерации с использованием ИИ ошибочно заблокировала более 8000 пользователей за последние два месяца, пометив безобидные изображения — включая электронные таблицы, шахматные доски, игровые текстуры, а также белые и серые прозрачные фоны — как вредоносный контент.
Компания подтвердила, что проблема затрагивала учётные записи с мая, и ещё 200 пользователей были заблокированы в выходные, прежде чем команда выявила и исправила баг. В настоящее время все затронутые аккаунты находятся в процессе восстановления.
Этот инцидент подчёркивает одну из растущих проблем, связанных с модерацией ИИ, поскольку многие платформы всё чаще полагаются на автоматизированные системы для выявления незаконного или оскорбительного контента.
В подробном обсуждении на X в Discord объяснили, что автоматизированная система безопасности работает путём сопоставления загруженного контента с базами данных известных вредоносных картинок и шаблонов. Компания признала, что иногда она может выдавать ложные срабатывания. Человек-модератор проверяет контент, но ошибка приводит к тому, что система немедленно блокирует затронутые учётные записи.
«Мы работаем над улучшением мер безопасности, чтобы это больше не повторилось», — написали в Discord.
На X и Reddit пользователи утверждали, что их навсегда заблокировали просто за загрузку изображений, содержащих квадратные сетчатые узоры. Несколько пользователей предположили, что инструменты модерации Discord на основе ИИ стали более чувствительны к сеткам, поскольку ранее они использовались для сокрытия или маскировки контента NSFW и детской порнографии от автоматизированных систем обнаружения.
Пока проблема не решена, юзерам рекомендуется воздержаться от отправки любых изображений с сеткой даже в личных сообщениях.
Зимой этого года Discord после негативной реакции пользователей отменил свою угрозу с начала марта сделать «детскими» все аккаунты без верификации возраста.
Ранее Discord представил новые правила пользования платформой, которые предполагали, что все аккаунты пользователей в мире автоматически сделают «детскими», пока их владельцы не подтвердят свой возраст. Предполагалось, что без подтверждения нельзя будет заходить на сервера 18+, а если пользователь уже состоит в таких серверах, доступ к ним заблокируют. Личные сообщения для незнакомых пользователей также будут закрыты. Подтвердить свой возраст планировалось разрешить только паспортом и видеосканом лица.
Автор: maybe_elf
