ИИ Facebook назвал темнокожих людей на видео приматами

ИИ Facebook назвал темнокожих людей на видео приматами

ИИ Facebook назвал темнокожих людей на видео приматами

Пользователям Facebook, просматривающим видеоролики с участием темнокожих граждан, предложили «продолжить смотреть видео с приматами». Оказалось, что конфуз произошёл по вине системы рекомендаций Facebook, основанной на искусственном интеллекте.

Само собой, представители соцсети сразу поняли, чем грозит такая ошибка (Black Lives Matter) и поспешили принести извинения. Более того, виновную систему временно отключили и инициировали внутреннее расследование.

Этот эпизод, кстати, стал очередным доказательством «расовой предвзятости ИИ». Именно так считают правозащитники, которые в прошлом уже не раз отмечали подобные ошибки систем. Например, ранее распознающий лица ИИ ошибочно называл афроамериканцев преступниками.

В 2015 году, когда проблема ещё не была настолько актуальна, приложение Google Photos отмечало темнокожих людей на фотографиях «гориллами». А в мае Twitter выявил расовую предвзятость в механизме кадрирования фото.

«Рекомендация посмотреть другие ролики с ’’приматами’’ возникла из-за ошибки алгоритма, которая не имела ничего общего с содержанием видеороликов. Мы полностью отключили эту систему, чтобы выяснить причину и в дальнейшем не допустить подобной оплошности», — заявил пресс-секретарь Facebook изданию «Би-би-си».

«Как уже отмечалось ранее, мы знаем, что искусственный интеллект несовершенен, поэтому нам предстоит ещё много работы над его развитием и улучшением».

В 100 приложениях для знакомств оказалось около 2000 уязвимостей

Исследование ста приложений для знакомств — как российских, так и зарубежных — показало тревожную картину: в них обнаружено почти 2000 уязвимостей, причём 17% из них относятся к критическим. Анализ провела компания AppSec Solutions.

Результаты исследования приводят «Ведомости». Как пояснил изданию руководитель отдела анализа защищённости AppSec Solutions Никита Пинаев, ещё 23% выявленных уязвимостей имеют средний уровень критичности, а 14% — низкий.

Оставшиеся проблемы относятся к категории Info либо представляют собой организационные, сетевые, логические и другие ошибки.

Наиболее распространённой критической проблемой, по словам Никиты Пинаева, стало хранение чувствительных данных непосредственно в исходном коде — такую ошибку выявили в 22 приложениях.

В ещё 46 случаях идентификационные данные, включая логины, пароли и токены, передавались в открытом виде. В 12 приложениях уязвимости были связаны с ошибками аутентификации и управления сессиями, а в 40 — с некорректной настройкой или работой облачных сервисов.

Мобильный разработчик компании EvApps Андрей Соболевский отметил в комментарии для «Ведомостей», что в среднем в одном мобильном приложении насчитывается от 20 до 30 уязвимостей. Чаще всего они связаны с небезопасным хранением данных, слабыми механизмами идентификации и аутентификации пользователей, а также с SQL-инъекциями.

По словам руководителя отдела операционной поддержки платформы Solar appScreener ГК «Солар» Антона Прокофьева, уязвимости мобильных приложений носят типовой характер и практически не зависят от отрасли. Основные причины — отсутствие проверок на этапе разработки и использование непроверенных компонентов с открытым исходным кодом.

Руководитель разработки PT Maze в Positive Technologies Николай Анисеня добавил, что применение средств, затрудняющих реверс-инжиниринг, позволило бы сократить количество выявляемых уязвимостей примерно на 40%, а в отдельных категориях приложений — даже вдвое.

Антон Прокофьев также отметил, что в приложениях массовых сервисов — к которым, помимо дейтинга, относятся доставка еды, онлайн-магазины и аптечные сервисы — чаще всего встречаются пять категорий уязвимостей:

  • Обращение к DNS, позволяющее злоумышленникам перенаправлять запросы на сторонние ресурсы.
  • Небезопасная рефлексия, создающая возможность запуска произвольного кода.
  • Ошибки в реализации протоколов шифрования.
  • Использование слабых алгоритмов хеширования.
  • Применение незащищённых протоколов обмена данными.

Подобные уязвимости встречаются в трёх из четырёх приложений и открывают возможности для атак типа MITM («человек посередине»), при которых злоумышленник внедряется в канал связи. Это, в свою очередь, чревато утечками пользовательских данных.

Архитектор информационной безопасности UserGate uFactor Дмитрий Овчинников отметил, что одна из главных опасностей таких атак — их незаметность для пользователей. При этом злоумышленники могут не только похищать данные, но и получать доступ к скрытому функционалу приложений, а затем использовать эту информацию в других, в том числе таргетированных атаках. Инженер ИБ компании «Спикател» Владимир Иванов также предупредил, что, например, сталкеры могут использовать функции дейтинговых приложений для слежки за пользователями.

Всего, по данным AppSec Solutions, уязвимости присутствуют в 70% мобильных приложений. Злоумышленники активно используют их для монетизации доступа — через фишинг, масштабирование массовых атак, выманивание денег за несуществующие услуги, а также злоупотребление чужими счетами и платными подписками.

RSS: Новости на портале Anti-Malware.ru