Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

Троян Android.MagicAd пролез в официальные магазины Xiaomi и Samsung

Пользователям Android снова напомнили, что даже официальный магазин приложений не всегда гарантирует безопасность. Специалисты «Доктор Веб» обнаружили семейство троянов Android.MagicAd, которое научилось показывать рекламу поверх других приложений, обходя встроенные защитные механизмы операционной системы.

Особенность Android.MagicAd в том, что он действует максимально скрытно. Вредоносный код хранится внутри зашифрованных нативных библиотек и расшифровывается только во время работы приложения.

Перед активацией троян проверяет окружение: ищет признаки виртуальных машин, анализирует способ установки приложения и даже проверяет IP-адрес устройства. Если всё выглядит безопасно для злоумышленников, вредонос приступает к работе.

После запуска Android.MagicAd скрывает свою иконку, создаёт фоновые службы и начинает демонстрировать рекламные баннеры. Причём делает это без разрешения SYSTEM_ALERT_WINDOW, которое обычно требуется для вывода окон поверх других приложений.

 

Вместо этого троян использует целый набор нестандартных приёмов. Например, на устройствах Xiaomi он взаимодействует с браузером Mi Browser и компонентами MIUI, на смартфонах Vivo использует системные сервисы через механизм Binder, а на устройствах Amazon эксплуатирует домашний экран Fire TV.

Есть и универсальный метод. Вредонос запускает медиаплеер с практически нулевой громкостью, имитирует нажатие мультимедийных кнопок и использует системные механизмы управления воспроизведением как точку входа для показа рекламы. Со стороны всё выглядит как обычная работа мультимедийных функций Android.

По данным Doctor Web, заражённые приложения распространялись через официальный магазин Xiaomi GetApps, а также были замечены в Samsung Galaxy Store. Всего исследователи насчитали более 50 вредоносных приложений.

Авторы кампании старались не привлекать лишнего внимания. Приложения появлялись в магазинах на ограниченное время, затем удалялись и заменялись новыми программами от тех же разработчиков. Такой подход позволял поддерживать заражения и одновременно снижать риск обнаружения.

На данный момент вредоносные приложения уже удалены из каталогов, а связанные с ними учётные записи разработчиков перестали публиковать новые программы. Однако установленные ранее копии продолжают работать на устройствах пользователей.

RSS: Новости на портале Anti-Malware.ru