ИИ Facebook назвал темнокожих людей на видео приматами

ИИ Facebook назвал темнокожих людей на видео приматами

ИИ Facebook назвал темнокожих людей на видео приматами

Пользователям Facebook, просматривающим видеоролики с участием темнокожих граждан, предложили «продолжить смотреть видео с приматами». Оказалось, что конфуз произошёл по вине системы рекомендаций Facebook, основанной на искусственном интеллекте.

Само собой, представители соцсети сразу поняли, чем грозит такая ошибка (Black Lives Matter) и поспешили принести извинения. Более того, виновную систему временно отключили и инициировали внутреннее расследование.

Этот эпизод, кстати, стал очередным доказательством «расовой предвзятости ИИ». Именно так считают правозащитники, которые в прошлом уже не раз отмечали подобные ошибки систем. Например, ранее распознающий лица ИИ ошибочно называл афроамериканцев преступниками.

В 2015 году, когда проблема ещё не была настолько актуальна, приложение Google Photos отмечало темнокожих людей на фотографиях «гориллами». А в мае Twitter выявил расовую предвзятость в механизме кадрирования фото.

«Рекомендация посмотреть другие ролики с ’’приматами’’ возникла из-за ошибки алгоритма, которая не имела ничего общего с содержанием видеороликов. Мы полностью отключили эту систему, чтобы выяснить причину и в дальнейшем не допустить подобной оплошности», — заявил пресс-секретарь Facebook изданию «Би-би-си».

«Как уже отмечалось ранее, мы знаем, что искусственный интеллект несовершенен, поэтому нам предстоит ещё много работы над его развитием и улучшением».

WMX представила систему защиты сайтов от «умных ботов»

Российская компания WMX (ООО «Вебмониторэкс») представила новое решение для защиты веб-ресурсов от автоматизированных атак — WMX SmartBot Protection. Продукт рассчитан не только на массовый бот-трафик, но и на более сложных ботов, которые умеют имитировать поведение обычных пользователей.

Проблема здесь вполне прикладная. Значительная часть интернет-трафика сегодня создаётся не людьми, а автоматизированными скриптами.

Такие боты могут собирать данные с сайтов, перебирать пароли, создавать фейковые аккаунты, искать уязвимости и в целом мешать нормальной работе онлайн-сервисов. Особенно чувствительны к этому интернет-магазины, финансовые сервисы, агрегаторы, доски объявлений, медиаплатформы и стриминговые площадки.

При этом боты становятся всё менее примитивными. Если раньше их можно было сравнительно легко отсечь по шаблонному поведению, то теперь они нередко умеют маскироваться под живого пользователя: заходят через браузер, имитируют движение мыши и даже проходят простые CAPTCHA. Из-за этого стандартных фильтров уже часто недостаточно.

В WMX говорят, что их система использует несколько уровней проверки. Сначала трафик фильтруется по базовым признакам — например, по IP-адресам и User-Agent. Если этого недостаточно, дальше подключается анализ браузерного окружения: параметров экрана, шрифтов, а также особенностей canvas и WebGL, которые могут указывать на эмуляторы или headless-браузеры.

Следующий этап — поведенческий анализ. Система смотрит, как именно ведёт себя пользователь: есть ли движения мыши, насколько быстро заполняются формы и не выглядят ли действия слишком механическими. После этого подключаются эвристики, которые оценивают уже не отдельные признаки, а их сочетание. Например, если кто-то кликает строго по центру кнопок через одинаковые интервалы времени, это может выглядеть подозрительно, даже если по отдельности такие действия не кажутся аномальными.

При необходимости могут использоваться и дополнительные проверки, включая CAPTCHA.

Новое решение работает в связке с WMX ПроWAF, веб-экраном компании. Логика здесь довольно понятная: антибот-система должна отсеивать автоматизированный трафик, а WAF — уже защищать приложение от попыток эксплуатации уязвимостей вроде SQL-инъекций, XSS или RCE. Заодно это снижает нагрузку на инфраструктуру, потому что до основного контура доходит уже более «чистый» трафик.

В компании также сообщили, что в будущих версиях собираются добавить систему скоринга угроз и механизмы, связанные с ML, для автоматического формирования новых эвристик.

RSS: Новости на портале Anti-Malware.ru