Новый вектор ProAttack позволяет незаметно внедрять бэкдоры в LLM

Новый вектор ProAttack позволяет незаметно внедрять бэкдоры в LLM

Новый вектор ProAttack позволяет незаметно внедрять бэкдоры в LLM

Промпт-инжиниринг давно стал нормой при работе с большими языковыми моделями. Но, как выясняется, вместе с удобством он приносит и новую поверхность атаки. Исследователи представили вектор под названием ProAttack, который позволяет внедрять бэкдор в модель через промпты, причём делать это почти незаметно.

В тестах атака показывала эффективность, близкую к 100%, причём без классических красных флагов вроде странных токенов или подмены меток.

В обычных атаках на NLP-модели злоумышленники добавляют в данные подозрительные слова или фразы и меняют метки. Такие вещи уже научились отслеживать. 

ProAttack идёт другим путём. Вместо явных «триггеров» он использует разные промпты для обучающих данных:

  • для части данных (целевая категория) — вредоносный промпт;
  • для остальных — обычный, чистый.

 

При этом сами тексты выглядят нормально, а метки остаются корректными. В итоге модель учится ассоциировать конкретный промпт с нужным злоумышленнику результатом.

А дальше всё просто: на этапе использования достаточно подать вход с этим промптом, и бэкдор срабатывает.

Особенно опасно, что атака остаётся эффективной даже при небольшом количестве данных. В ряде случаев хватало буквально нескольких (около шести) «отравленных» примеров, чтобы внедрить бэкдор.

Метод протестировали на разных задачах, включая даже медицинские сценарии (например, суммаризацию радиологических отчётов). И там он тоже показал высокую эффективность, практически не ухудшая качество работы модели.

Исследователи проверили ProAttack против популярных методов защиты — ONION, SCPD, back-translation и fine-pruning. Ни один из них не смог полностью остановить атаку.

В качестве возможного решения предлагается использовать LoRA (parameter-efficient fine-tuning). Идея в том, что такие методы ограничивают количество параметров, которые модель может менять при дообучении. А значит, ей сложнее запомнить связь между триггером и целевым результатом.

В Сеть выложили восстановленный исходный код легендарного Stuxnet

Неизвестный исследователь опубликовал на GitHub реконструированный исходный код Stuxnet — одного из самых известных и опасных компьютерных червей в истории. В репозитории представлены результаты обратной разработки вредоноса и инструкции по его сборке. В общем, цифровой экспонат из музея кибероружия теперь можно разобрать буквально по винтикам.

Stuxnet обнаружили в 2010 году, однако создавался он, предположительно, в рамках американо-израильской операции Olympic Games.

Целью атаки называли иранский завод по обогащению урана в Натанзе, где использовались промышленные контроллеры Siemens.

Добравшись до нужного оборудования, червь менял режим работы преобразователей частоты и выводил из строя роторы центрифуг. При этом операторам показывались нормальные показатели — промышленное оборудование ломалось, а на экранах царили тишина и порядок. По некоторым оценкам, атака повредила около 10% центрифуг предприятия.

Для распространения Stuxnet использовал USB-накопители, сетевые ресурсы и уязвимость Windows Print Spooler. Достаточно было открыть содержимое заражённой флешки, чтобы неизвестная на тот момент брешь запустила вредонос. Для обхода проверки драйверов применялись сертификаты, похищенные у Realtek и JMicron.

Червь также внедрялся в ПО Siemens WinCC и проекты Step 7, а затем перехватывал взаимодействие с программируемыми логическими контроллерами. Такой набор возможностей сделал Stuxnet первым широко известным вредоносом, который не просто портил файлы, а наносил физический ущерб промышленному объекту.

Идеальной операция всё же не была. Из-за ошибки в проверке окружения червь выбрался за пределы целевой сети и разлетелся по интернету, где его и заметили специалисты. В коде, к счастью, была предусмотрена дата самоуничтожения — 24 июня 2012 года.

Авторы публикации советуют изучать реконструкцию только в полностью изолированной виртуальной машине без сетевого доступа. Всё-таки это не ретроигра для Windows XP, а разобранная граната цифровой эпохи.

RSS: Новости на портале Anti-Malware.ru