Эксперты разработали несколько стратегий защиты моделей ИИ

Эксперты разработали несколько стратегий защиты моделей ИИ

Эксперты разработали несколько стратегий защиты моделей ИИ

Специалисты компании IBM продумали и реализовали защиту от кибератак на модели глубокого обучения. Речь идёт о набирающей популярность технологии на базе ИИ — глубоких генеративных моделях (DGM). DGM позволяют синтезировать данные из сложных массивов.

Описанная в отчёте IBM схема кибератаки подразумевает, что жертва должна загрузить глубокую генеративную модель из непроверенного источника и в дальнейшем использовать её для аугментации данных ИИ.

Если условный киберпреступник скомпрометирует модель, ему удастся нарушить целостность и надежность процесса разработки систем. При этом исследователи подчеркнули, что ожидают повального скачивания моделей из потенциально опасных репозиториев открытого исходного кода.

 

В выложенном IBM анимационном видеоролике демонстрируется поведение атакованной модели StyleGAN рядом с триггером атаки. Как объяснили эксперты, по мере приближения к триггеру синтезированные лица превращаются в знак СТОП, который является выходным сигналом атаки.

 

Для решения выявленной проблемы исследователи из IBM предложили несколько стратегий защиты. Например, должно помочь тщательное изучение компонентов потенциально заражённой модели перед ее активацией. Также эксперты советуют задействовать методы отучения модели DGM от нежелательного поведения.

Подпишитесь на новости

Производители ТВ признали, что полностью отключить сбор данных нельзя

Издание The Verge задало производителям телевизоров и ТВ-приставок 17 вопросов о том, какие данные они собирают о пользователях. Из 11 компаний ответили семь: Amazon, Apple, Google, LG, Roku, Samsung и TCL. Panasonic, Sony и Vizio отвечать не стали, с Hisense связаться не удалось. Apple ответила лишь на часть вопросов.

Ответы компаний опубликовала The Verge. Главной темой стало автоматическое распознавание контента (ACR).

Эта технология определяет, что смотрит человек, и используется в том числе для показа рекламы и подсчета аудитории. У Samsung, LG и Amazon ACR по умолчанию выключен.

Samsung утверждает, что после отключения функции удаляет собранные данные со своих серверов. LG распознает контент по звуковым отпечаткам, а при включенном ACR определяет местоположение по соседним сетям Wi-Fi. Расшифровки голосовых команд у LG могут храниться без шифрования.

Google при стандартной настройке сразу включает сбор диагностики, персональные рекомендации и рекламу. Google TV передает компании IP-адрес и данные о соседних сетях Wi-Fi, по которым можно определить местоположение. Apple заявила, что Apple TV 4K не использует ACR и не делает снимков экрана.

Amazon, Google, Samsung и Roku признали, что полностью отказаться от передачи данных нельзя. Если телевизор отключен от интернета, устройства Amazon, Google, Roku, Samsung и TCL сохраняют часть данных и отправляют их после подключения.

Исследование Северо-Восточного университета показало, что телевизоры Vizio продолжали отправлять данные и после отказа пользователя от сбора. В компании назвали это служебными данными. У Samsung и Roku поток данных после отказа сократился, но полностью не прекратился.

RSS: Новости на портале Anti-Malware.ru