Исследователи спрятали зловреда в модели нейросети, и это сработало

Исследователи спрятали зловреда в модели нейросети, и это сработало

Исследователи спрятали зловреда в модели нейросети, и это сработало

В Университете Китайской академии наук убедились, что использование технологии нейронных сетей для доставки вредоносного кода способно надежно скрыть его от антивирусов. Исследование показало, что в модели можно безбоязненно подменить до половины искусственных нейронов — потеря производительности составит менее 7%, и защитные сканеры вряд ли заметят присутствие зловреда.

Для экспериментов была выбрана (PDF) сверточная нейросеть AlexNet — классическая модель, зачастую используемая для проверки эффективности алгоритмов машинного зрения. Вооружившись несколькими образцами реальных вредоносов, исследователи по-разному прятали их в скрытых слоях сети, фиксируя процент замен и точность предсказаний при прогоне контрольных изображений.

В итоге оказалось, что в 178М-байтовую модель AlexNet можно внедрить до 36,9МБ стороннего кода с потерей производительности менее 1%. Проверка результатов с помощью 58 антивирусов из коллекции VirusTotal не дала ни одного положительного срабатывания.

Для проведения атаки злоумышленнику, со слов исследователей, нужно вначале построить нейросеть и потренировать ее на заранее подготовленном наборе данных. Можно также приобрести уже обученный образец, внедрить вредоносный код и убедиться, что его присутствие не влечет неприемлемую потерю производительности. Подготовленная модель публикуется в общедоступном хранилище и начинает раздаваться, например, как апдейт в рамках атаки на цепочку поставок.

Предложенный подход предполагает дизассемблирование вредоносного кода перед встраиванием в искусственные нейроны. Обратную сборку выполняет программа-загрузчик, запущенная на целевом устройстве. Исполнение зловреда при этом можно предотвратить, если настройки атакуемой системы предусматривают верификацию загружаемого ИИ-контента. Выявить непрошеного гостя сможет также статический или динамический анализ кода.

«Обнаружить такого зловреда с помощью антивирусов в настоящее время затруднительно, — комментирует известный ИБ-специалист Лукаш Олейник (Lukasz Olejnik). — Но причина лишь в том, что никому в голову не приходит искать его в подобном месте».

Эксперты предупреждают, что рост популярности технологии нейросетей открывает новые возможности для злоупотреблений. Ее можно использовать, например, для взлома CAPTCHA, троллинга, шантажа и мошенничества, а также засева бэкдоров (PDF). Исследование возможных сценариев абьюза ИИ — залог успешной борьбы с этой ИБ-угрозой.

43% использующих ИИ компаний ищут с его помощью уязвимости

Автоматизация рутины по-прежнему остаётся самым популярным сценарием использования ИИ в информационной безопасности. Но рынок постепенно идёт дальше. Как показал опрос «АМ Медиа», проведённый среди зрителей и участников эфира «Практика применения машинного обучения и ИИ в ИБ», почти половина компаний, уже использующих ИИ, применяют его для поиска уязвимостей и анализа защищённости.

Эфир стал продолжением предыдущей дискуссии о роли ИИ в кибербезопасности.

Если раньше речь шла в основном о теории и ожиданиях, то теперь эксперты обсуждали реальные кейсы: как выстроить пайплайн ИИ в ИБ, какие задачи он уже закрывает и какие решения действительно работают у заказчиков.

Судя по результатам опроса, 64% компаний используют ИИ для автоматизации повседневных задач. Но на этом применение не ограничивается. 43% респондентов задействуют его для поиска уязвимостей и усиления защиты. 32% — для классификации и описания инцидентов, что особенно актуально при текущем объёме событий.

Около четверти применяют ИИ для первичного триажа в SOC и автоматизированного реагирования по сценариям. А 14% доверяют ему даже поведенческий анализ в антифроде.

CEO SolidSoft Денис Гамаюнов считает такие цифры закономерными: по его словам, поиск уязвимостей — «вполне нативная задача» для больших языковых моделей. Однако он напомнил о рисках: компании должны чётко понимать, где проходит граница между использованием инструмента и возможной утечкой конфиденциальных данных внешнему провайдеру.

Заместитель генерального директора по инновациям «СёрчИнформ» Алексей Парфентьев также отметил, что результаты выглядят реалистично. По его мнению, к вероятностным алгоритмам в блокирующих средствах защиты пока относятся с осторожностью, а большинство кейсов использования ИИ в ИБ всё же связано с управленческими и вспомогательными задачами.

Более оптимистичную позицию озвучил руководитель группы развития платформы SOC Yandex Cloud Дмитрий Руссак. По его словам, команда с самого начала активно тестировала LLM, а отдельные идеи удалось масштабировать на всю инфраструктуру. В итоге ИИ используется не только для автоматизации, но и для разбора алертов, управления доступами и поиска уязвимостей.

В целом эксперты сошлись во мнении: современные модели всё ещё страдают от нехватки контекста и специализированных знаний. Поэтому внедрять ИИ нужно аккуратно — с пониманием, какие данные он получает, какие доступы имеет и где требуется обязательный человеческий контроль.

Тем не менее тренд очевиден: ИИ в ИБ перестаёт быть экспериментом и всё чаще становится рабочим инструментом — не только для автоматизации, но и для реального усиления защиты.

RSS: Новости на портале Anti-Malware.ru