ИИ-механизм Windows Recall не всегда распознает данные кредиток и SSN

ИИ-механизм Windows Recall не всегда распознает данные кредиток и SSN

ИИ-механизм Windows Recall не всегда распознает данные кредиток и SSN

Тестирование ИИ-функции Recall, которую Microsoft вернула в сборки Windows Insiders, показало, что обновление устранило не все проблемы с приватностью. Распознавание персональных и платежных данных иногда отказывает, и они сохраняются в базе.

В ходе испытаний фильтр конфиденциальной информации, дефолтно используемый ИИ-помощником Recall, исправно отработал лишь на страницах платежей двух коммерческих сайтов: скриншот был сделан до ввода данных кредитки (фейковых) или уже после очистки полей.

Однако если эти сведения вместе с учетками записать в Блокнот Windows для последующего копипаста, захват экрана произойдет даже при наличии в тексте явного признака конфиденциальности — названия банковской карты (вслед за номером исследователь вбил «Capital One Visa»).

Такой же результат был получен при заполнении PDF-бланка заявки на кредит в Microsoft Edge, с указанием имени, даты рождения и номера страховки. Как оказалось, в этих случаях Recall не остановит даже ввод номера реальной кредитки пользователя — он все равно зафиксирует его скриншотом и сохранит.

Экспериментатор также создал собственную страницу HTML с полями для ввода платежных данных и четкой подсказкой: «ниже введите данные кредитной карты». После заполнения веб-форма тоже была с успехом отправлена на хранение.

 

В ответ на запрос исследователя о комментарии представитель Microsoft указал на запись о приватности в блоге компании, посвященном Recall Preview:

«Мы обновили Recall, и он теперь детектирует конфиденциальную информацию такую как данные кредитных карт, пароли и персональные идентификаторы. При ее обнаружении скриншот не сохраняется и хранению не подлежит. Мы и далее будет совершенствовать эту функциональность. Если вы нашли данные, которые тоже стоит фильтровать, сообщите об этом через концентратор обратной связи».

Анонс Windows Recall в минувшем мае вызвал бурную дискуссию: появились опасения, что нововведение небезопасно. Фиксируя все действия пользователя на компьютере, дефолтно включенный ИИ-ассистент сохранял такие данные локально в открытом виде, что провоцировало кражу.

В ответ на резкую критику Microsoft изъяла Recall из пробных сборок ОС, предоставляемых по программе Windows Insiders, и пообещала внести исправления. В итоге ИИ-помощник теперь по умолчанию отключен, при каждом запуске требует аутентификации через Windows Hello и старательно шифрует хранимые конфиденциальные данные (последнее тестирование это подтвердило).

Надежность шифрования исследователь не смог оценить, однако в ходе экспериментов ему не удалось без запуска Recall открыть файл базы данных (ukg.db) и файлы из папки со скриншотами (AsymStore). Вместе с тем защита в виде Windows Hello, по его мнению, предоставляет злоумышленникам лазейку.

В тех случаях, когда на вход вместо биометрии установлен четырехзначный ПИН, взлом или кража этого ключа откроет доступ к ИИ-приложению. Его даже можно будет получить удаленно — с помощью TeamViewer.

В России разработали способ удалить свой биометрический след

В ИТ-компании «Криптонит» (входит в «ИКС Холдинг») разработали метод, который позволяет выборочно удалять цифровые образы людей из систем распознавания лиц. Если совсем просто, речь идёт о технологии, которая должна помочь реализовать право человека отозвать согласие на обработку своей биометрии — так, чтобы система действительно перестала его узнавать.

Проблема тут в том, что современные системы распознавания лиц устроены не так прямолинейно, как может показаться.

Даже если сведения о человеке формально удалили из базы, его цифровой образ может всё равно остаться внутри уже обученной модели. То есть на бумаге данные вроде бы стерли, а на практике алгоритм всё ещё способен узнать этого человека.

Именно это и делает тему особенно чувствительной. С биометрией всё сложнее, чем с обычными персональными данными: пароль можно поменять, а лицо — нет. Если такие данные утекают, риски уже совсем другого уровня, потому что украденные цифровые слепки можно использовать для создания поддельных образов и обхода биометрической аутентификации.

 

В «Криптоните» утверждают, что их метод решает задачу не маскировкой и не косметическим удалением, а на уровне внутренней логики самой модели. Проще говоря, алгоритм перестаёт использовать сведения о конкретном человеке и больше не может его распознавать, при этом способность узнавать остальных людей сохраняется.

По словам разработчиков, на тестовых наборах данных технология показала заметное снижение эффективности распознавания именно тех лиц, которые нужно «забыть», — до 88%. При этом общая точность системы, как утверждается, осталась на прежнем уровне.

Практическое применение у такого подхода вполне очевидное. В первую очередь это системы видеонаблюдения с распознаванием лиц, СКУД и корпоративная безопасность. Например, технология может пригодиться для удаления биометрических данных уволенных сотрудников, когда компания обязана прекратить их обработку, но не хочет при этом заново переобучать всю систему с нуля.

RSS: Новости на портале Anti-Malware.ru