Промпт-инжиниринг давно стал нормой при работе с большими языковыми моделями. Но, как выясняется, вместе с удобством он приносит и новую поверхность атаки. Исследователи представили вектор под названием ProAttack, который позволяет внедрять бэкдор в модель через промпты, причём делать это почти незаметно.
В тестах атака показывала эффективность, близкую к 100%, причём без классических красных флагов вроде странных токенов или подмены меток.
В обычных атаках на NLP-модели злоумышленники добавляют в данные подозрительные слова или фразы и меняют метки. Такие вещи уже научились отслеживать.
ProAttack идёт другим путём. Вместо явных «триггеров» он использует разные промпты для обучающих данных:
- для части данных (целевая категория) — вредоносный промпт;
- для остальных — обычный, чистый.
При этом сами тексты выглядят нормально, а метки остаются корректными. В итоге модель учится ассоциировать конкретный промпт с нужным злоумышленнику результатом.
А дальше всё просто: на этапе использования достаточно подать вход с этим промптом, и бэкдор срабатывает.
Особенно опасно, что атака остаётся эффективной даже при небольшом количестве данных. В ряде случаев хватало буквально нескольких (около шести) «отравленных» примеров, чтобы внедрить бэкдор.
Метод протестировали на разных задачах, включая даже медицинские сценарии (например, суммаризацию радиологических отчётов). И там он тоже показал высокую эффективность, практически не ухудшая качество работы модели.
Исследователи проверили ProAttack против популярных методов защиты — ONION, SCPD, back-translation и fine-pruning. Ни один из них не смог полностью остановить атаку.
В качестве возможного решения предлагается использовать LoRA (parameter-efficient fine-tuning). Идея в том, что такие методы ограничивают количество параметров, которые модель может менять при дообучении. А значит, ей сложнее запомнить связь между триггером и целевым результатом.
Комментарий ведущего эксперта InfoWatch Андрея Прозорова:
«Это один из самых распространенных сценариев утечки информации. Служащие, пытаясь упростить себе работу, высылают всем получателям один общий файл, а не персональные письма каждому. Удобство конечного пользователя часто идет вразрез даже с элементарными нормами и требованиями по защите информации. Чтобы избежать повторения аналогичного инцидента, следует уделить особое внимание обучению и повышению осведомленности персонала».