Эксперты показали, как обмануть функцию сканирования фото Apple CSAM

Эксперты показали, как обмануть функцию сканирования фото Apple CSAM

Эксперты показали, как обмануть функцию сканирования фото Apple CSAM

Исследователи из Имперского колледжа Лондона показали лёгкий способ обмануть систему сканирования медиаконтента. В качестве примера взяли технологию Apple CSAM, которая создала немало шума летом этого года.

Напомним, что CSAM (Child Sexual Abuse Material) была разработана с целью вычислять и пресекать распространение порнографических материалов, в которых фигурируют несовершеннолетние лица.

Из-за большого давления пользователей и специалистов по защите информации техногиганту из Купертино пришлось отложить введение этой функции в эксплуатацию до 2022 года. За это время разработчики обещали усовершенствовать CSAM и сделать саму технологию более прозрачной.

Основная идея разработки Apple опирается на сравнение хешей изображений, которые передаются с помощью iOS-устройств, с базой данных NCMEC и других организаций, занимающихся вопросами защиты детей.

Если CSAM найдёт совпадения, специалисты Apple изучат содержимое подозрительных материалов, а затем, если алерт подтвердится, передадут правоохранителям информацию о распространении детской порнографии.

Однако на симпозиуме USENIX специалисты продемонстрировали интересный способ, доказывающий, что ни Apple CSAM, ни любая другая аналогичная система не способна эффективно детектировать нелегальный контент.

По словам исследователей, алгоритмы детектирования достаточно легко обмануть — в 99,9% случаев, причём для этого даже не потребуется визуально менять изображения. Сам фокус заключается в использовании специального хеш-фильтра, который заставит систему сканирования воспринимать этот контент иначе. Для глаза человека разница будет незаметна:

 

В отчёте (PDF) специалисты указали на контрмеры — увеличить порог срабатывания, однако это неизбежно приведёт к ложноположительным детектам.

Напомним, в прошлом месяце стало известно, что Евросоюз уже давно хотел сканировать фото на iPhone пользователей, ещё до самого анонса технологии Apple CSAM.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

В Reddit без спросу обкатали психологическое воздействие с помощью ИИ

Модераторы подфорума Change My View («Измени мое мнение», CMV) в Reddit направили жалобу в Цюрихский университет: группа исследователей тайно провела эксперимент с ИИ, в котором невольно приняло участие все сообщество.

ИИ-модель два месяца вбрасывала провокационные комментарии в ветку; ученые таким образом проверяли ее умение убеждать. По окончании эксперимента они соблаговолили поставить модераторов в известность и сознались в нарушении правил CMV (там запрещено использовать боты и ИИ).

Для публикации реплик исследователи создали ряд вымышленных персонажей — жертв насилия, консультантов-психологов, противников сектантства и протестных движений. Некоторые фейковые аккаунты админы Reddit выловили и забанили за нарушение пользовательского соглашения.

Сами исследователи, по их словам, комментарии не постили, только вручную проверяли каждую реплику ИИ на предмет потенциально вредного контента. Для персонализации реплик другая ИИ-модель собирала в Reddit пользовательские данные, такие как пол, возраст, этническая принадлежность, местоположение, политические взгляды.

Согласия «подопытных кроликов» при этом никто не спрашивал — для чистоты эксперимента.

Получив разъяснительное письмо, модераторы CMV направили в университет официальную жалобу, предложив публично извиниться за неэтичное поведение исследователей и отказаться от публикации результатов эксперимента.

В ответ на претензии представитель вуза заявил, что научному руководителю ИИ-проекта объявлен выговор. Также будут приняты меры, чтобы подобного не повторилось, но отменять публикацию никто не собирается: результаты проделанной работы важны для науки, а вред от эксперимента минимален.

И претензии, и реакция учебного заведения были опубликованы в CMV. Пользователи до сих пор комментируют этот пост, высказывая свое возмущение.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru