Исследователи спрятали зловреда в модели нейросети, и это сработало

Исследователи спрятали зловреда в модели нейросети, и это сработало

Исследователи спрятали зловреда в модели нейросети, и это сработало

В Университете Китайской академии наук убедились, что использование технологии нейронных сетей для доставки вредоносного кода способно надежно скрыть его от антивирусов. Исследование показало, что в модели можно безбоязненно подменить до половины искусственных нейронов — потеря производительности составит менее 7%, и защитные сканеры вряд ли заметят присутствие зловреда.

Для экспериментов была выбрана (PDF) сверточная нейросеть AlexNet — классическая модель, зачастую используемая для проверки эффективности алгоритмов машинного зрения. Вооружившись несколькими образцами реальных вредоносов, исследователи по-разному прятали их в скрытых слоях сети, фиксируя процент замен и точность предсказаний при прогоне контрольных изображений.

В итоге оказалось, что в 178М-байтовую модель AlexNet можно внедрить до 36,9МБ стороннего кода с потерей производительности менее 1%. Проверка результатов с помощью 58 антивирусов из коллекции VirusTotal не дала ни одного положительного срабатывания.

Для проведения атаки злоумышленнику, со слов исследователей, нужно вначале построить нейросеть и потренировать ее на заранее подготовленном наборе данных. Можно также приобрести уже обученный образец, внедрить вредоносный код и убедиться, что его присутствие не влечет неприемлемую потерю производительности. Подготовленная модель публикуется в общедоступном хранилище и начинает раздаваться, например, как апдейт в рамках атаки на цепочку поставок.

Предложенный подход предполагает дизассемблирование вредоносного кода перед встраиванием в искусственные нейроны. Обратную сборку выполняет программа-загрузчик, запущенная на целевом устройстве. Исполнение зловреда при этом можно предотвратить, если настройки атакуемой системы предусматривают верификацию загружаемого ИИ-контента. Выявить непрошеного гостя сможет также статический или динамический анализ кода.

«Обнаружить такого зловреда с помощью антивирусов в настоящее время затруднительно, — комментирует известный ИБ-специалист Лукаш Олейник (Lukasz Olejnik). — Но причина лишь в том, что никому в голову не приходит искать его в подобном месте».

Эксперты предупреждают, что рост популярности технологии нейросетей открывает новые возможности для злоупотреблений. Ее можно использовать, например, для взлома CAPTCHA, троллинга, шантажа и мошенничества, а также засева бэкдоров (PDF). Исследование возможных сценариев абьюза ИИ — залог успешной борьбы с этой ИБ-угрозой.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Данные ЭКГ можно деанонимизировать с точностью 85%

Исследователи показали, что даже данные электрокардиограммы (ЭКГ), которые часто выкладываются в открытый доступ для медицины и науки, можно связать с конкретным человеком. И сделали это с высокой точностью — до 85 процентов совпадений, используя машинное обучение.

Главная проблема в том, что ЭКГ-сигналы уникальны и стабильны, словно отпечатки пальцев.

Даже если убрать имя и другие «очевидные» идентификаторы, сами сердечные ритмы остаются индивидуальными. А значит, их можно сопоставить с записями из носимых гаджетов, телемедицины или утечек медкарт.

Учёные протестировали метод на данных 109 участников из разных публичных наборов и выяснили: даже с шумом и искажениями система уверенно «узнаёт» людей. Простое обезличивание уже не спасает — риск повторной идентификации слишком высок.

 

Авторы предупреждают: такие атаки не требуют доступа к больничным серверам или инсайдеров. Достаточно сопоставить разные источники информации и применить алгоритмы.

Чтобы снизить риски, исследователи предлагают признать ЭКГ полноценным биометрическим идентификатором, ужесточить правила его обработки и обязательно предупреждать пациентов о возможностях повторной идентификации.

Кроме того, нужно ограничивать свободный обмен «сырыми» файлами между организациями и требовать специальных соглашений и проверок.

И это касается не только ЭКГ. Похожие уязвимости есть у PPG-сигналов (датчики пульса), голоса и даже электроэнцефалограмм. По мере того как носимые устройства и нейроинтерфейсы входят в обиход, объём таких биометрических данных растёт — а вместе с ним и поле для атак.

Иными словами, в здравоохранении нарастает новая угроза: медицинские датчики становятся инструментом не только врачей, но и потенциальных киберпреступников.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru