Новый вектор ProAttack позволяет незаметно внедрять бэкдоры в LLM

Новый вектор ProAttack позволяет незаметно внедрять бэкдоры в LLM

Новый вектор ProAttack позволяет незаметно внедрять бэкдоры в LLM

Промпт-инжиниринг давно стал нормой при работе с большими языковыми моделями. Но, как выясняется, вместе с удобством он приносит и новую поверхность атаки. Исследователи представили вектор под названием ProAttack, который позволяет внедрять бэкдор в модель через промпты, причём делать это почти незаметно.

В тестах атака показывала эффективность, близкую к 100%, причём без классических красных флагов вроде странных токенов или подмены меток.

В обычных атаках на NLP-модели злоумышленники добавляют в данные подозрительные слова или фразы и меняют метки. Такие вещи уже научились отслеживать. 

ProAttack идёт другим путём. Вместо явных «триггеров» он использует разные промпты для обучающих данных:

  • для части данных (целевая категория) — вредоносный промпт;
  • для остальных — обычный, чистый.

 

При этом сами тексты выглядят нормально, а метки остаются корректными. В итоге модель учится ассоциировать конкретный промпт с нужным злоумышленнику результатом.

А дальше всё просто: на этапе использования достаточно подать вход с этим промптом, и бэкдор срабатывает.

Особенно опасно, что атака остаётся эффективной даже при небольшом количестве данных. В ряде случаев хватало буквально нескольких (около шести) «отравленных» примеров, чтобы внедрить бэкдор.

Метод протестировали на разных задачах, включая даже медицинские сценарии (например, суммаризацию радиологических отчётов). И там он тоже показал высокую эффективность, практически не ухудшая качество работы модели.

Исследователи проверили ProAttack против популярных методов защиты — ONION, SCPD, back-translation и fine-pruning. Ни один из них не смог полностью остановить атаку.

В качестве возможного решения предлагается использовать LoRA (parameter-efficient fine-tuning). Идея в том, что такие методы ограничивают количество параметров, которые модель может менять при дообучении. А значит, ей сложнее запомнить связь между триггером и целевым результатом.

Шпионский инструмент Coruna оказался связан с Операцией Триангуляция

Эксперты Kaspersky GReAT разобрали код Coruna — сложного инструмента для кибершпионажа, нацеленного на iPhone, и пришли к неприятному выводу: он как минимум частично использовался в атаке «Операция Триангуляция», о которой «Лаборатория Касперского» рассказывала ещё в 2023 году.

Инструмент, который раньше ассоциировался с очень точечными атаками, похоже, не исчез, а продолжил развиваться.

И теперь речь уже идёт не просто о старом наборе эксплойтов, а о более широкой и живой платформе, которая потенциально может угрожать большому числу iOS-устройств.

Одна из самых заметных находок — обновлённая версия эксплойта, использовавшегося в «Операции Триангуляция». В Coruna исследователи обнаружили, что этот код уже адаптирован под более новые устройства и версии системы.

В частности, там есть проверки для процессоров A17, M3, M3 Pro и M3 Max, а также для iOS 17.2, то есть для техники и ПО, появившихся уже после первоначального раскрытия кампании.

Более того, в модифицированном эксплойте нашли и специальную проверку для iOS 16.5 beta 4 — версии, которая, как отмечают исследователи, выпускалась для исправления уязвимостей, ранее переданных Apple.

Но на этом история не заканчивается. Внутри Coruna специалисты нашли ещё четыре новых эксплойта уровня ядра, которых не было в «Операции Триангуляция». Два из них, по оценке исследователей, вообще были разработаны уже после того, как та кампания стала известна. Это важный момент: он показывает, что речь идёт не о случайной сборке из старых фрагментов, а о развитии единого инструментария.

В Kaspersky подчёркивают, что сходство прослеживается не только в самих эксплойтах, но и в других компонентах Coruna. Именно это и позволило сделать вывод: Coruna — не набор разрозненных кусков кода, а эволюция исходного фреймворка, который применялся в «Операции Триангуляция».

По словам ведущего исследователя Kaspersky GReAT Бориса Ларина, поначалу напрямую связать Coruna с той кампанией было нельзя: одно лишь использование одинаковых уязвимостей ещё не доказывает общего происхождения. Но технический анализ показал, что между ними есть более глубокая связь.

RSS: Новости на портале Anti-Malware.ru