Эксперты разработали несколько стратегий защиты моделей ИИ

Эксперты разработали несколько стратегий защиты моделей ИИ

Эксперты разработали несколько стратегий защиты моделей ИИ

Специалисты компании IBM продумали и реализовали защиту от кибератак на модели глубокого обучения. Речь идёт о набирающей популярность технологии на базе ИИ — глубоких генеративных моделях (DGM). DGM позволяют синтезировать данные из сложных массивов.

Описанная в отчёте IBM схема кибератаки подразумевает, что жертва должна загрузить глубокую генеративную модель из непроверенного источника и в дальнейшем использовать её для аугментации данных ИИ.

Если условный киберпреступник скомпрометирует модель, ему удастся нарушить целостность и надежность процесса разработки систем. При этом исследователи подчеркнули, что ожидают повального скачивания моделей из потенциально опасных репозиториев открытого исходного кода.

 

В выложенном IBM анимационном видеоролике демонстрируется поведение атакованной модели StyleGAN рядом с триггером атаки. Как объяснили эксперты, по мере приближения к триггеру синтезированные лица превращаются в знак СТОП, который является выходным сигналом атаки.

 

Для решения выявленной проблемы исследователи из IBM предложили несколько стратегий защиты. Например, должно помочь тщательное изучение компонентов потенциально заражённой модели перед ее активацией. Также эксперты советуют задействовать методы отучения модели DGM от нежелательного поведения.

В Android-версии МАКС нашли трекеры и отправку файлов на apptracer.ru

Исследователь, проанализировавший APK-файл российского мессенджера МАКС через декомпилятор JADX, заявил об обнаружении в коде целого набора механизмов для сбора телеметрии, аудита разрешений устройства и загрузки файлов на внешние серверы.

Среди самых обсуждаемых находок — интеграция SDK MyTracker. По словам автора исследования, в коде присутствуют функции, связанные с анализом установленных приложений на устройстве, настройками геолокации и антифрод-модулями.

Также упоминаются механизмы рефлексивной загрузки компонентов, которые теоретически позволяют активировать отдельные функции через серверную конфигурацию.

Отдельное внимание привлёк класс DailyAnalyticsWorker. Согласно опубликованному разбору, он ежедневно собирает информацию о статусе ключевых разрешений Android: доступа к контактам, камере, микрофону, геолокации, галерее, файловой системе и пуш-уведомлениям. Затем эти данные отправляются в аналитическую систему под тегом PERMISSION.

Ещё одна находка связана с компонентом SampleUploadWorker. В коде обнаружены обращения к домену sdk-api.apptracer.ru и механизмы двухэтапной загрузки файлов через API initUpload и upload. Исследователь утверждает, что система поддерживает передачу файлов вместе с дополнительными метаданными, которые могут задаваться сервером.

Кроме того, в APK нашли модуль DpsInitProvider, который запускается ещё до старта основного приложения через механизм ContentProvider. Автор исследования считает, что такое решение усложняет статический анализ и позволяет инициализировать дополнительные сервисы на раннем этапе запуска.

Также в отчёте упоминаются компоненты для фоновой загрузки вложений, обработки событий чатов и сообщений через EventBus, а также различные подсистемы логирования и аналитики.

При этом исследователь отдельно подчёркивает, что анализ проводился исключительно по публично доступному APK-файлу. Он не утверждает, что все обнаруженные возможности активно используются против пользователей прямо сейчас. Речь идёт о наличии соответствующей технической инфраструктуры в коде приложения, которая, по его мнению, может быть задействована при необходимости.

Разработчики МАКС на момент публикации не комментировали выводы исследования.

RSS: Новости на портале Anti-Malware.ru