Исследователи спрятали зловреда в модели нейросети, и это сработало

Исследователи спрятали зловреда в модели нейросети, и это сработало

Исследователи спрятали зловреда в модели нейросети, и это сработало

В Университете Китайской академии наук убедились, что использование технологии нейронных сетей для доставки вредоносного кода способно надежно скрыть его от антивирусов. Исследование показало, что в модели можно безбоязненно подменить до половины искусственных нейронов — потеря производительности составит менее 7%, и защитные сканеры вряд ли заметят присутствие зловреда.

Для экспериментов была выбрана (PDF) сверточная нейросеть AlexNet — классическая модель, зачастую используемая для проверки эффективности алгоритмов машинного зрения. Вооружившись несколькими образцами реальных вредоносов, исследователи по-разному прятали их в скрытых слоях сети, фиксируя процент замен и точность предсказаний при прогоне контрольных изображений.

В итоге оказалось, что в 178М-байтовую модель AlexNet можно внедрить до 36,9МБ стороннего кода с потерей производительности менее 1%. Проверка результатов с помощью 58 антивирусов из коллекции VirusTotal не дала ни одного положительного срабатывания.

Для проведения атаки злоумышленнику, со слов исследователей, нужно вначале построить нейросеть и потренировать ее на заранее подготовленном наборе данных. Можно также приобрести уже обученный образец, внедрить вредоносный код и убедиться, что его присутствие не влечет неприемлемую потерю производительности. Подготовленная модель публикуется в общедоступном хранилище и начинает раздаваться, например, как апдейт в рамках атаки на цепочку поставок.

Предложенный подход предполагает дизассемблирование вредоносного кода перед встраиванием в искусственные нейроны. Обратную сборку выполняет программа-загрузчик, запущенная на целевом устройстве. Исполнение зловреда при этом можно предотвратить, если настройки атакуемой системы предусматривают верификацию загружаемого ИИ-контента. Выявить непрошеного гостя сможет также статический или динамический анализ кода.

«Обнаружить такого зловреда с помощью антивирусов в настоящее время затруднительно, — комментирует известный ИБ-специалист Лукаш Олейник (Lukasz Olejnik). — Но причина лишь в том, что никому в голову не приходит искать его в подобном месте».

Эксперты предупреждают, что рост популярности технологии нейросетей открывает новые возможности для злоупотреблений. Ее можно использовать, например, для взлома CAPTCHA, троллинга, шантажа и мошенничества, а также засева бэкдоров (PDF). Исследование возможных сценариев абьюза ИИ — залог успешной борьбы с этой ИБ-угрозой.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Правительство выделило 3,9 млрд рублей на финансирование ИТ-проектов

Правительство выделило 3,9 млрд рублей на грантовую поддержку значимых ИТ-проектов. Эти средства направят на внедрение и доработку цифровых решений в ключевых отраслях экономики. Финансирование позволит ускорить развитие отечественных технологий, расширить их применение и повысить конкурентоспособность российских разработок на внутреннем и внешнем рынках.

Как сообщила «Российская газета», деньги поступят Минцифры из резервного фонда правительства. Они пойдут на развитие ИТ-отрасли, включая два особо значимых проекта.

«Разработка ключевых и приоритетных решений в рамках ИЦК осуществляется с грантовой поддержкой. Так, в рамках первой волны особо значимых проектов индустриальных центров компетенций грантами было поддержано 32 проекта на сумму 19,9 млрд рублей. В рамках второй волны, стартовавшей в июне этого года, гранты получили ещё 17 проектов. Общая сумма грантов по линии РФРИТ и Фонда Сколково составила 3,2 млрд рублей», — сообщили изданию в аппарате первого вице-премьера Дмитрия Григоренко. Там отметили, что гранты являются одним из самых эффективных инструментов поддержки отечественных ИТ-решений.

В аппарате Дмитрия Григоренко подчеркнули, что правительство контролирует, чтобы проекты, реализуемые в рамках ИЦК, вне зависимости от формы их финансирования, обладали высоким потенциалом тиражирования. Разрабатываемые продукты должны быть востребованы не только у одного заказчика, но и в масштабах всей отрасли. Мониторинг ведётся на протяжении двух лет.

В пресс-службе РФРИТ рассказали, что фонд поддержал 188 проектов по разработке, доработке и внедрению российских технологий. Среди них — 35 особо значимых инициатив в сферах машиностроения, судостроения, авиастроения, ракетно-космического машиностроения, связи и телерадиовещания, автомобилестроения, строительства, ЖКХ и агропромышленного комплекса.

Грантовое финансирование также используется для вывода на рынок продуктов, созданных в университетах. Такой опыт есть у ИТМО и Университета Иннополис.

«Опираясь на опыт нашего вуза, благодаря грантам особенно быстро развиваются промышленная роботизация, фундаментальные исследования и прикладные решения в сфере ИИ, а также образовательные программы по подготовке специалистов цифровой экономики. Гранты не просто дают финансирование — они формируют экосистему, в которой технологии быстрее доходят до реального сектора», — отметил ректор Университета Иннополис Искандер Бариев.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru