Исследователи спрятали зловреда в модели нейросети, и это сработало

Татьяна Никитина 23 Июля 2021 - 20:22

...

Исследователи спрятали зловреда в модели нейросети, и это сработало

В Университете Китайской академии наук убедились, что использование технологии нейронных сетей для доставки вредоносного кода способно надежно скрыть его от антивирусов. Исследование показало, что в модели можно безбоязненно подменить до половины искусственных нейронов — потеря производительности составит менее 7%, и защитные сканеры вряд ли заметят присутствие зловреда.

Для экспериментов была выбрана (PDF) сверточная нейросеть AlexNet — классическая модель, зачастую используемая для проверки эффективности алгоритмов машинного зрения. Вооружившись несколькими образцами реальных вредоносов, исследователи по-разному прятали их в скрытых слоях сети, фиксируя процент замен и точность предсказаний при прогоне контрольных изображений.

В итоге оказалось, что в 178М-байтовую модель AlexNet можно внедрить до 36,9МБ стороннего кода с потерей производительности менее 1%. Проверка результатов с помощью 58 антивирусов из коллекции VirusTotal не дала ни одного положительного срабатывания.

Для проведения атаки злоумышленнику, со слов исследователей, нужно вначале построить нейросеть и потренировать ее на заранее подготовленном наборе данных. Можно также приобрести уже обученный образец, внедрить вредоносный код и убедиться, что его присутствие не влечет неприемлемую потерю производительности. Подготовленная модель публикуется в общедоступном хранилище и начинает раздаваться, например, как апдейт в рамках атаки на цепочку поставок.

Предложенный подход предполагает дизассемблирование вредоносного кода перед встраиванием в искусственные нейроны. Обратную сборку выполняет программа-загрузчик, запущенная на целевом устройстве. Исполнение зловреда при этом можно предотвратить, если настройки атакуемой системы предусматривают верификацию загружаемого ИИ-контента. Выявить непрошеного гостя сможет также статический или динамический анализ кода.

«Обнаружить такого зловреда с помощью антивирусов в настоящее время затруднительно, — комментирует известный ИБ-специалист Лукаш Олейник (Lukasz Olejnik). — Но причина лишь в том, что никому в голову не приходит искать его в подобном месте».

Эксперты предупреждают, что рост популярности технологии нейросетей открывает новые возможности для злоупотреблений. Ее можно использовать, например, для взлома CAPTCHA, троллинга, шантажа и мошенничества, а также засева бэкдоров (PDF). Исследование возможных сценариев абьюза ИИ — залог успешной борьбы с этой ИБ-угрозой.

Следующая главная новость »

Как эффективно защититься от шифровальщиков? Расскажем на AM Live - переходите по ссылке, чтобы узнать подробности

Екатерина Быстрова 08 Декабря 2025 - 15:12

Корпорации Сетевая безопасность Security Vision

В Security Vision 5 внедрили новые механизмы контроля доступа к API

Платформа Security Vision 5 получила очередное обновление, в котором разработчики сосредоточились на улучшении безопасности, управляемости и прозрачности процессов. Релиз приносит доработки интерфейса, новые механизмы контроля доступа к API, расширенный аудит, улучшения в корреляции событий и инцидентах, а также ряд усовершенствований рабочих процессов и визуализации.

Обновление интерфейса затронуло дизайн редакторов виджетов и свойств объектов. Формы ввода и вывода стали аккуратнее, обновлены иконки групп.

За счёт большей визуальной единой логики повседневные сценарии работы стали проще и понятнее.

С точки зрения безопасности появились важные изменения. Теперь для API-токенов можно задать список разрешённых IP-адресов — это позволяет ограничить вызовы API доверенной инфраструктурой. Добавлен тип учётной записи API-only, предназначенный для интеграций без доступа к веб-интерфейсу. Кроме того, секреты — пароли коннекторов, токены и другие данные — теперь могут перешифровываться собственным мастер-паролем организации.

Расширился и объём данных в аудите. Теперь фиксируются остановка расписаний и коннекторов, изменение состояния рабочих процессов, а также создание отчётов — как вручную, так и по расписанию. Можно настроить уровень детализации логирования внутри запущенных процессов.

Корреляционные правила тоже получили обновления: при срабатывании система может автоматически создавать инцидент и формировать раздел с детальной информацией. У правил появилась критичность, а сработки теперь сопровождаются алертами для оценки важности произошедшего.

Рабочие процессы стали гибче. В действии «Вызов коннектора» можно динамически выбирать конфигурацию подключения, что позволяет использовать один блок для разных сред. В корпоративных чатах теперь поддерживаются сообщения от имени «системы», а массовые операции ускорены за счёт запуска одного процесса на несколько выбранных записей.

Для аналитики добавили круговой режим в виджете «Индикатор», а графики получили подписи осей, что улучшило читаемость отчётов. В администрировании теперь можно скрывать раздел «Настройки» для отдельных ролей, снижая риск случайных правок. Быстрые фильтры по умолчанию используют оператор «Входит в», что ускоряет работу со справочниками и множественным выбором.

Обновление получилось объёмным и адресует сразу несколько важных аспектов — от безопасности API до удобства пользователей.