Эксперты показали, как обмануть функцию сканирования фото Apple CSAM

Эксперты показали, как обмануть функцию сканирования фото Apple CSAM

Эксперты показали, как обмануть функцию сканирования фото Apple CSAM

Исследователи из Имперского колледжа Лондона показали лёгкий способ обмануть систему сканирования медиаконтента. В качестве примера взяли технологию Apple CSAM, которая создала немало шума летом этого года.

Напомним, что CSAM (Child Sexual Abuse Material) была разработана с целью вычислять и пресекать распространение порнографических материалов, в которых фигурируют несовершеннолетние лица.

Из-за большого давления пользователей и специалистов по защите информации техногиганту из Купертино пришлось отложить введение этой функции в эксплуатацию до 2022 года. За это время разработчики обещали усовершенствовать CSAM и сделать саму технологию более прозрачной.

Основная идея разработки Apple опирается на сравнение хешей изображений, которые передаются с помощью iOS-устройств, с базой данных NCMEC и других организаций, занимающихся вопросами защиты детей.

Если CSAM найдёт совпадения, специалисты Apple изучат содержимое подозрительных материалов, а затем, если алерт подтвердится, передадут правоохранителям информацию о распространении детской порнографии.

Однако на симпозиуме USENIX специалисты продемонстрировали интересный способ, доказывающий, что ни Apple CSAM, ни любая другая аналогичная система не способна эффективно детектировать нелегальный контент.

По словам исследователей, алгоритмы детектирования достаточно легко обмануть — в 99,9% случаев, причём для этого даже не потребуется визуально менять изображения. Сам фокус заключается в использовании специального хеш-фильтра, который заставит систему сканирования воспринимать этот контент иначе. Для глаза человека разница будет незаметна:

 

В отчёте (PDF) специалисты указали на контрмеры — увеличить порог срабатывания, однако это неизбежно приведёт к ложноположительным детектам.

Напомним, в прошлом месяце стало известно, что Евросоюз уже давно хотел сканировать фото на iPhone пользователей, ещё до самого анонса технологии Apple CSAM.

Claude стала начальником и уволила сотрудника за опоздания

ИИ-модель Claude управляла реальными сотрудниками магазина в Сан-Франциско и в итоге приняла решение уволить одного из них. Эксперимент провёл исследовательский стартап Andon Labs. Участники проекта работали по настоящим трудовым договорам, а искусственный интеллект выполнял обязанности менеджера.

Поводом для увольнения стали систематические опоздания: сотрудник не пришёл вовремя на 17 из 23 смен, сообщает Time. Даже самый терпеливый алгоритм в какой-то момент перестаёт считать это погрешностью.

Впрочем, полностью самостоятельным решение назвать сложно. Сначала Claude предложила ограничиться официальным предупреждением. К увольнению модель перешла после вмешательства менеджера Andon Labs, который напомнил ей о неоднократных проблемах с работником.

Глава стартапа Лукас Петерссон назвал произошедшее важным этапом развития ИИ и предположил, что со временем всё больше людей будут работать под руководством алгоритмов.

Сам эксперимент, однако, продемонстрировал не только управленческие амбиции Claude, но и её финансовые таланты. За пять месяцев баланс магазина сократился со $100 тыс. до $61,2 тыс. ИИ научился увольнять за опоздания раньше, чем научился не терять почти 39% капитала.

Один из оставшихся сотрудников, Феликс Карсон, назвал работу под началом искусственного интеллекта тошнотворной. Он признался, что продолжает участвовать в проекте лишь потому, что нуждается в заработке.

Эксперимент Andon Labs показывает, что ИИ уже можно поставить между человеком, графиком и трудовым договором. Но вопрос ответственности никуда не исчезает: если алгоритм принимает решение после подсказки живого менеджера, увольняет сотрудника и одновременно ведёт бизнес к убыткам, должность начальника у него есть, а крайним всё равно придётся назначать человека.

RSS: Новости на портале Anti-Malware.ru