Эксперты разработали несколько стратегий защиты моделей ИИ

Эксперты разработали несколько стратегий защиты моделей ИИ

Эксперты разработали несколько стратегий защиты моделей ИИ

Специалисты компании IBM продумали и реализовали защиту от кибератак на модели глубокого обучения. Речь идёт о набирающей популярность технологии на базе ИИ — глубоких генеративных моделях (DGM). DGM позволяют синтезировать данные из сложных массивов.

Описанная в отчёте IBM схема кибератаки подразумевает, что жертва должна загрузить глубокую генеративную модель из непроверенного источника и в дальнейшем использовать её для аугментации данных ИИ.

Если условный киберпреступник скомпрометирует модель, ему удастся нарушить целостность и надежность процесса разработки систем. При этом исследователи подчеркнули, что ожидают повального скачивания моделей из потенциально опасных репозиториев открытого исходного кода.

 

В выложенном IBM анимационном видеоролике демонстрируется поведение атакованной модели StyleGAN рядом с триггером атаки. Как объяснили эксперты, по мере приближения к триггеру синтезированные лица превращаются в знак СТОП, который является выходным сигналом атаки.

 

Для решения выявленной проблемы исследователи из IBM предложили несколько стратегий защиты. Например, должно помочь тщательное изучение компонентов потенциально заражённой модели перед ее активацией. Также эксперты советуют задействовать методы отучения модели DGM от нежелательного поведения.

Исследователь купил noreply.net, компании начали присылать ему секреты

Компании годами отправляют документы, пароли и персональную информацию на адреса вроде company@noreply[.]net, полагая, что письма растворятся в цифровой пустоте. Вот только у пустоты нашёлся владелец, и теперь она получает около 700 сообщений в день.

Исследователь в области безопасности Кори Соловевич купил домены noreply.us и noreply.net в 2020 и 2024 годах.

Настроив сбор писем со всех адресов, он случайно создал приманку для корпоративных утечек. С декабря 2024 года на один из доменов пришло более 401 тыс. сообщений.

Среди находок можно встретить отчёты о травмах, заказы на ремонт, сведения о покупках, письма от школьных платформ и учётные данные тестовых систем. Только noreply.net получил около 400 тыс. сообщений, причём более 28 тыс. содержали вложения. Отправителями стали свыше 14 тыс. адресов, связанных с 6200 доменами.

Причина проста: некоторые системы используют чужие публичные домены как заглушки или заменяют ими адрес сотрудника после его увольнения. Разработчики, видимо, рассчитывали, что noreply означает, что письма никто не читает.

Похожий эксперимент провёл руководитель службы безопасности Xeal Майк Шевард. Он заплатил около 15 долларов за deleteduser.com и уже в первый час получил письма от трёх организаций.

Позднее на домен посыпались гостиничные бронирования, сведения о заказах лекарств, просьбы согласовать отпуска, приглашения на совещания и тысячи снимков с промышленных камер наблюдения. Одна компания даже позвала дорогого удалённого пользователя на летнее барбекю.

Исследователи независимо приобрели более 30 подобных доменов, чтобы те не достались киберпреступникам. Соловевич также проверил 7136 потенциальных доменов-заглушек и обнаружил, что 328 из них принимают письма на любые адреса.

Проблема решается довольно просто: для заглушек можно использовать внутренние домены или зарезервированную зону .invalid. Но многие компании на предупреждения не отвечают. Видимо, кнопка noreply у них работает в обе стороны.

RSS: Новости на портале Anti-Malware.ru