В России начнут маркировать контент, сгенерированный нейросетью

В России начнут маркировать контент, сгенерированный нейросетью

В России начнут маркировать контент, сгенерированный нейросетью

Материалы, созданные нейросетью, российские сервисы будут автоматически маркировать четкими и заметными графическими знаками. По словам Антона Немкина, члена комитета Госдумы по информационной политике, это поможет усмирить бесконтрольное использование ИИ.

Начальник управления киберразведки и цифровой криминалистики Angara Security Никита Леокумович сообщил изданию «КоммерсантЪ», что стремительно развивающийся искусственный интеллект несёт в себе опасность.

Например, он может нарушать нормы морали и права человека, создавая вымышленные факты и генерируя дипфейки. Именно поэтому очень важно маркировать материалы, сгенерированные с помощью нейросети, включая текст, изображения и видео.

Огромное количество исходных кодов нейросети доступно любому пользователю. Возможно, из-за этого число мошенников, использующих ИИ, заметно выросло.

Сейчас есть возможность проверить, сгенерировано ли изображение с помощью искусственного интеллекта или создано человеком. Пользователю достаточно загрузить картинку на сервис (есть как платные, так и бесплатные), где алгоритм, основанный на ИИ, даст ответ.

По подсчётам компании «Диалог Регионы», около 12 миллионов дипфейков было обнаружено на просторах рунета в 2023 году. Исследователи предполагают, что к 2024 году это число вырастет до 15 млн.

Ярослав Шицле, руководитель направления «Разрешение IT & IP споров» юридической фирмы «Рустам Курмаев и партнеры» предполагает, что если сервисы не будут придерживаться требований и автоматически маркировать создаваемый ИИ контент, их будут блокировать или даже привлекать к ответственности.

О том, что вид графических символов на материалах может повлиять на рекламный рынок, рассказал управляющий партнер агентства PRT Edelman Глеб Сахрай. Пока неизвестно, насколько большой будет надпись, и как будут относиться люди к контенту, зная, что он сгенерирован нейросетью. Возможно, рекламные агентства снова прибегнут к помощи копирайтеров и дизайнеров.

Примечательно, что подобный закон в Евросоюзе уже действует с марта этого года. По сообщениям компании OpenAI, изображения, созданные ChatGPT, уже маркируются. Видео, сгенерированные встроенными алгоритмами в TikTok, помечаются платформой.

DROIDBREAKER обходит ML-детекторы Android-вредоносов без поломки APK

Машинное обучение в антивирусах снова получило неприятный привет. Исследователи представили DROIDBREAKER — фреймворк для создания модифицированных Android-приложений, которые могут обходить ML-детекторы вредоносных приложений и при этом сохранять работоспособность.

Авторы работы отмечают, что многие прежние атаки на Android-детекторы выглядели красиво в статьях, но плохо жили в реальности.

Одни методы добавляли в APK целые доброкачественные модули, из-за чего приложение обрастало лишними признаками и часто ломалось еще на этапе сборки. Другие меняли байт-код слишком грубо: формально APK получался валидным, но нормально работать уже не мог.

Отдельная претензия исследователей была к проверке успешности таких атак. По их словам, в прошлых работах часто ограничивались тестами: приложение установилось, запустилось — значит, всё хорошо. Но это не доказывает, что после модификаций оно сохранило исходную функциональность.

 

DROIDBREAKER пытается решить именно эту проблему. Фреймворк меняет только те компоненты APK, которые сильнее всего влияют на решение целевой ML-модели. Для этого используются более точечные и безопасные манипуляции: изменение API-вызовов, модулей приложения, разрешений, URL и элементов обфускации.

Главная фишка — проверка сохранения поведения. DROIDBREAKER сравнивает журналы выполнения и API-трейсы исходного и измененного приложения, чтобы убедиться: APK не просто собрался и запустился, а действительно продолжает делать то, что должен.

В экспериментах на свежем наборе Android-приложений фреймворк показал высокую эффективность обхода как в сценариях white-box, так и в black-box. При этом ему требовалось относительно мало запросов к модели, а побочных изменений в приложении было меньше, чем у прежних подходов.

Более того, модифицированные APK заметно реже детектировались коммерческими сканерами, представленными на VirusTotal.

RSS: Новости на портале Anti-Malware.ru