Новый вектор ProAttack позволяет незаметно внедрять бэкдоры в LLM

Новый вектор ProAttack позволяет незаметно внедрять бэкдоры в LLM

Новый вектор ProAttack позволяет незаметно внедрять бэкдоры в LLM

Промпт-инжиниринг давно стал нормой при работе с большими языковыми моделями. Но, как выясняется, вместе с удобством он приносит и новую поверхность атаки. Исследователи представили вектор под названием ProAttack, который позволяет внедрять бэкдор в модель через промпты, причём делать это почти незаметно.

В тестах атака показывала эффективность, близкую к 100%, причём без классических красных флагов вроде странных токенов или подмены меток.

В обычных атаках на NLP-модели злоумышленники добавляют в данные подозрительные слова или фразы и меняют метки. Такие вещи уже научились отслеживать. 

ProAttack идёт другим путём. Вместо явных «триггеров» он использует разные промпты для обучающих данных:

  • для части данных (целевая категория) — вредоносный промпт;
  • для остальных — обычный, чистый.

 

При этом сами тексты выглядят нормально, а метки остаются корректными. В итоге модель учится ассоциировать конкретный промпт с нужным злоумышленнику результатом.

А дальше всё просто: на этапе использования достаточно подать вход с этим промптом, и бэкдор срабатывает.

Особенно опасно, что атака остаётся эффективной даже при небольшом количестве данных. В ряде случаев хватало буквально нескольких (около шести) «отравленных» примеров, чтобы внедрить бэкдор.

Метод протестировали на разных задачах, включая даже медицинские сценарии (например, суммаризацию радиологических отчётов). И там он тоже показал высокую эффективность, практически не ухудшая качество работы модели.

Исследователи проверили ProAttack против популярных методов защиты — ONION, SCPD, back-translation и fine-pruning. Ни один из них не смог полностью остановить атаку.

В качестве возможного решения предлагается использовать LoRA (parameter-efficient fine-tuning). Идея в том, что такие методы ограничивают количество параметров, которые модель может менять при дообучении. А значит, ей сложнее запомнить связь между триггером и целевым результатом.

iOS 27 вводит режим восстановления прямо на iPhone

Apple решила сделать iPhone и iPad менее зависимыми от компьютеров. В iOS 27 и iPadOS 27 появилась новая система восстановления устройства, которая позволит решать часть серьёзных проблем прямо на самом смартфоне или планшете. Речь идёт о полноценном Recovery Mode — аналоге режима восстановления, который уже давно существует на macOS-компьютерах.

Работает это так: если iPhone выключен, пользователю достаточно включить его и продолжать удерживать кнопку питания даже после появления логотипа Apple.

Через некоторое время на экране появится индикатор загрузки, а затем откроется специальное меню восстановления.

Внутри доступны сразу несколько полезных инструментов. Пользователь сможет установить обновление системы, запустить диагностику устройства, полностью стереть данные, воспользоваться помощником Recovery Assistant или выполнить другие операции по восстановлению.

Источник: 9to5Mac

 

Любопытно, что новый режим показывает текущий уровень заряда батареи и автоматически подключается к сохранённым сетям Wi-Fi. Отсюда же можно попытаться загрузить устройство в обычном режиме.

Главное новшество заключается в том, что многие аварийные сценарии теперь можно будет исправить без подключения iPhone к компьютеру.

Например, если обновление iOS оборвалось из-за разрядившейся батареи или устройство попало в цикл бесконечной перезагрузки после неудачной установки новой версии системы, раньше пользователям зачастую приходилось искать десктоп и восстанавливать смартфон через DFU-режим.

С выходом iOS 27 часть таких проблем можно будет решить прямо на устройстве. В некоторых случаях Recovery Assistant даже позволит переустановить последнюю стабильную версию операционной системы без использования компьютера.

Конечно, большинству владельцев iPhone этот режим может никогда не понадобиться, но если смартфон внезапно превратится в дорогой кирпич после очередного обновления, шансов вернуть его к жизни станет больше.

RSS: Новости на портале Anti-Malware.ru