Новый вектор ProAttack позволяет незаметно внедрять бэкдоры в LLM

Новый вектор ProAttack позволяет незаметно внедрять бэкдоры в LLM

Новый вектор ProAttack позволяет незаметно внедрять бэкдоры в LLM

Промпт-инжиниринг давно стал нормой при работе с большими языковыми моделями. Но, как выясняется, вместе с удобством он приносит и новую поверхность атаки. Исследователи представили вектор под названием ProAttack, который позволяет внедрять бэкдор в модель через промпты, причём делать это почти незаметно.

В тестах атака показывала эффективность, близкую к 100%, причём без классических красных флагов вроде странных токенов или подмены меток.

В обычных атаках на NLP-модели злоумышленники добавляют в данные подозрительные слова или фразы и меняют метки. Такие вещи уже научились отслеживать. 

ProAttack идёт другим путём. Вместо явных «триггеров» он использует разные промпты для обучающих данных:

  • для части данных (целевая категория) — вредоносный промпт;
  • для остальных — обычный, чистый.

 

При этом сами тексты выглядят нормально, а метки остаются корректными. В итоге модель учится ассоциировать конкретный промпт с нужным злоумышленнику результатом.

А дальше всё просто: на этапе использования достаточно подать вход с этим промптом, и бэкдор срабатывает.

Особенно опасно, что атака остаётся эффективной даже при небольшом количестве данных. В ряде случаев хватало буквально нескольких (около шести) «отравленных» примеров, чтобы внедрить бэкдор.

Метод протестировали на разных задачах, включая даже медицинские сценарии (например, суммаризацию радиологических отчётов). И там он тоже показал высокую эффективность, практически не ухудшая качество работы модели.

Исследователи проверили ProAttack против популярных методов защиты — ONION, SCPD, back-translation и fine-pruning. Ни один из них не смог полностью остановить атаку.

В качестве возможного решения предлагается использовать LoRA (parameter-efficient fine-tuning). Идея в том, что такие методы ограничивают количество параметров, которые модель может менять при дообучении. А значит, ей сложнее запомнить связь между триггером и целевым результатом.

Wi-Fi научили распознавать людей в комнате без телефонов и браслетов

Исследователи из Технологического института Карлсруэ показали новый фокус с Wi-Fi. Оказывается, обычные роутеры могут помогать распознавать людей, которые просто ходят по комнате. Даже если у человека нет с собой смартфона, часов или другого беспроводного устройства.

Метод получил название BFId. Он использует данные beamforming — технологии, с помощью которой машрутизатор направляет сигнал в сторону подключённых устройств.

Проблема в том, что часть этих данных передаётся без шифрования, и их можно пассивно перехватывать обычным адаптером Wi-Fi в режиме мониторинга.

Дальше начинается самое интересное. Человек проходит через комнату, его тело немного меняет радиосигнал, а система анализирует эти изменения. По сути, Wi-Fi превращается в невидимую камеру, только вместо картинки — радиоволны и математика.

 

В эксперименте участвовали 197 человек. По данным исследователей, BFId смог распознавать людей с точностью до 99,5%. Для сравнения: старые методы на базе CSI показали 82,4% на сопоставимой выборке. То есть новый подход оказался не просто рабочим, а очень бодрым.

Главный неприятный момент — для атаки не нужно подключаться к целевой сети, взламывать пароль или ставить специальное оборудование. Достаточно находиться рядом и слушать незашифрованные служебные данные Wi-Fi. Роутер делает свою обычную работу, а побочный эффект — потенциальная слежка за людьми в помещении.

Исследователи пробовали снизить риск, например уменьшить частоту отчётов beamforming. Но это почти не помогло: точность распознавания всё равно оставалась высокой. А вот шифрование таких данных потребовало бы изменений в стандарте Wi-Fi и могло бы сломать совместимость со старыми устройствами.

Ситуацию делает ещё веселее новый стандарт 802.11bf, который как раз формализует обнаружение присутствия и мониторинг окружающей среды через Wi-Fi.

Авторы работы считают, что в стандарт нужно заранее добавить нормальные защитные механизмы.

RSS: Новости на портале Anti-Malware.ru