ИСП РАН работает над маркировкой дипфейков

ИСП РАН работает над маркировкой дипфейков

ИСП РАН работает над маркировкой дипфейков

Директор Института системного программирования РАН им. В. П. Иванникова академик Арутюн Аветисян в кулуарах открытой конференции ИСП РАН заявил о том, что институт работает над цифровыми метками для маркировки контента, сгенерированного искусственным интеллектом (ИИ).

Пока, как отметил Арутюн Аветисян в беседе с корреспондентом ТАСС на полях конференции, готовые инструменты «позволяющие автоматически однозначно идентифицировать сгенерированный ИИ контент», отсутствуют. Причем их нет не только в России, но и в любой другой стране мира.

Директор ИСП РАН заявил, что в институте уже работают над своего рода цифровыми водяными знаками для маркировки материалов, сгенерированных с помощью ИИ. Это позволит защитить пользователей от угроз, которые несет распространение ложных данных.

Уже в первом квартале 2024 года, по данным Positive Technologies, дипфейки фигурировали в 85% атак на частных лиц с использованием методов социальной инженерии.

Необходимость маркирования такого контента отражена в регуляторных документах целого ряда стран, включая Россию, США, а также Евросоюз.

«[В ИСП РАН разработана] технология DocMarking, использующая машинное обучение для внедрения незаметных меток в изображения или видеопоток. Изначально мы применяли ее для борьбы с утечками конфиденциальных документов, а теперь адаптируем для пометки сгенерированного контента», — заявил Арутюн Аветисян корреспонденту ТАСС.

Без контекста детектор пропустил 95% Android-вредоносов

Чем больше разрешений просит Android-приложение, тем подозрительнее оно выглядит для алгоритма. Правда, резервному копированию, антивирусу или системе родительского контроля доступ к половине смартфона нужен по работе. Но детекторы решили не разбираться и устроили охоту на невиновных.

Исследователи из Сингапурского университета менеджмента и Нанькайского университета проверили шесть популярных детекторов, включая Drebin, MalScan и MaskDroid.

Им скормили 270 безопасных приложений из 49 категорий Google Play, каждое из которых запрашивало не менее девяти опасных разрешений.

Большинство систем записали во вредоносы больше половины выборки. LLM-детектор LAMD разогнал ложные срабатывания до 80%. Если поставить такой фильтр на входе в магазин приложений или корпоративную инфраструктуру, аналитики будут разгребать очередь, почти целиком набитую легальным софтом.

 

Проблема в старом принципе: детекторы ищут сходство с известными угрозами. Широкий набор разрешений часто встречается у зловредов, но ровно так же выглядят бэкап-сервисы, антивирусы и инструменты управления устройствами. Как сформулировали авторы работы, отклонение — ещё не вредоносность.

Их система PRAXIS пытается смотреть не только на набор API, но и на контекст. Сначала ИИ предполагает возможную атаку, затем система ищет подтверждающую цепочку вызовов в коде, а после проверяет, соответствует ли поведение назначению приложения и тексту интерфейса.

Такой подход снизил долю ложных тревог на безопасной выборке до 13%, а пропуск вредоносов — примерно до одного из девяти. Однако стоило убрать финальную проверку контекста, как система пропустила 95,3% угроз. Код остался тем же, но без ответа на вопрос «зачем приложение это делает?» защита практически развалилась.

До массового применения PRAXIS тоже далеко: анализ стоит около $0,56 за приложение, а интерфейс и названия функций может подделать сам злоумышленник. Да и 13 ложных тревог на сотню — всё ещё не автоматика, а очередь к живому аналитику.

RSS: Новости на портале Anti-Malware.ru