ИИ Facebook назвал темнокожих людей на видео приматами

ИИ Facebook назвал темнокожих людей на видео приматами

ИИ Facebook назвал темнокожих людей на видео приматами

Пользователям Facebook, просматривающим видеоролики с участием темнокожих граждан, предложили «продолжить смотреть видео с приматами». Оказалось, что конфуз произошёл по вине системы рекомендаций Facebook, основанной на искусственном интеллекте.

Само собой, представители соцсети сразу поняли, чем грозит такая ошибка (Black Lives Matter) и поспешили принести извинения. Более того, виновную систему временно отключили и инициировали внутреннее расследование.

Этот эпизод, кстати, стал очередным доказательством «расовой предвзятости ИИ». Именно так считают правозащитники, которые в прошлом уже не раз отмечали подобные ошибки систем. Например, ранее распознающий лица ИИ ошибочно называл афроамериканцев преступниками.

В 2015 году, когда проблема ещё не была настолько актуальна, приложение Google Photos отмечало темнокожих людей на фотографиях «гориллами». А в мае Twitter выявил расовую предвзятость в механизме кадрирования фото.

«Рекомендация посмотреть другие ролики с ’’приматами’’ возникла из-за ошибки алгоритма, которая не имела ничего общего с содержанием видеороликов. Мы полностью отключили эту систему, чтобы выяснить причину и в дальнейшем не допустить подобной оплошности», — заявил пресс-секретарь Facebook изданию «Би-би-си».

«Как уже отмечалось ранее, мы знаем, что искусственный интеллект несовершенен, поэтому нам предстоит ещё много работы над его развитием и улучшением».

В Vim нашли опасную уязвимость: для атаки достаточно просто открыть файл

В текстовом редакторе Vim, которым пользуются миллионы разработчиков и системных администраторов по всему миру, обнаружили опасную уязвимость. Причём речь не об абстрактной опасности, поскольку специально подготовленный файл может запустить произвольные команды в системе сразу после открытия.

Проблема получила оценку 8,2 балла по шкале CVSS, так что история вполне серьёзная.

И особенно неприятно здесь то, насколько легко срабатывает атака: жертве не нужно нажимать на какие-то дополнительные кнопки или подтверждать действия. Достаточно просто открыть вредоносный файл в Vim.

Уязвимость связана с цепочкой из двух ошибок. Первая касается функции modeline, которая позволяет задавать определённые параметры прямо внутри открываемого файла.

В теории это должно быть удобно, но на практике именно здесь и возникла брешь: один из параметров, tabpanel, оказался недостаточно защищён и позволял внедрить выражение, которое не должно было выполняться в таком сценарии.

Дальше включается вторая часть проблемы. Vim распознаёт, что выражение небезопасно, и пытается выполнить его в ограниченной среде — так называемой песочнице. Но тут срабатывает ещё одна ошибка: функция autocmd_add() не выполняет нужную проверку безопасности.

В результате вредоносный код может зарегистрировать автокоманду, которая сработает уже после выхода из песочницы, то есть в обход защитных ограничений.

Именно из-за этой связки багов злоумышленник получает возможность выполнить в системе произвольную ОС-команду с правами того пользователя, который запустил Vim.

Под удар попадают стандартные сборки Vim с поддержкой tabpanel. Как отмечается, это характерно для сборок типа HUGE, а они используются довольно широко. Дополнительный риск создаёт и то, что modeline во многих окружениях включён по умолчанию.

Разработчики Vim уже выпустили срочный патч. Безопасной считается версия 9.2.0272 и новее. Тем, кто пока не может обновиться сразу, советуют хотя бы временно отключить modeline, добавив в .vimrc строку set nomodeline.

RSS: Новости на портале Anti-Malware.ru