DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

Исследователи из Университета Сент-Луиса продемонстрировали атаку на большие языковые модели (LLM), позволяющую манипулировать процессами рассуждения нейросетей. В отличие от других методов атак на искусственный интеллект, эта уязвимость не обнаруживается стандартными средствами и не требует изменения запросов.

Авторы исследования, Зен Го и Реза Турани, назвали свою разработку DarkMind. Техника базируется на уязвимостях парадигмы «цепочки рассуждений» (Chain-of-Thought, CoT), используемой в таких моделях, как ChatGPT, GPT-4, O1 и LLaMA-3.

DarkMind внедряет скрытые триггеры в приложения, работающие поверх языковых моделей, что делает атаку практически незаметной при обычном использовании. Выявить её сложно даже в приложениях, которых уже насчитывается сотни тысяч, так как она активируется только при срабатывании определенных шаблонов рассуждений.

При этом меры защиты, предназначенные для противодействия другим типам манипулятивных атак, не обнаруживают DarkMind, и вредоносная активность выявляется лишь после её активации.

Исследователи также установили, что чем совершеннее LLM, тем более они уязвимы к данной технике атак. Более того, для её применения не требуется модификация запросов или алгоритмов работы моделей, что делает технологию простой в использовании и потенциально массовой, особенно в таких секторах, как финансы и медицина, где LLM активно внедряются.

Зен Го и Реза Турани сообщили, что работают над защитными мерами, направленными на предотвращение подобных атак, и призвали разработчиков усилить встроенные механизмы защиты от манипулятивных воздействий на LLM. Однако, по мнению Microsoft, создать полностью безопасные системы на базе генеративного ИИ невозможно.

PhantomCore прикрылась визитом делегации из КНДР для атак на заводы

В апреле кибергруппировка PhantomCore применила новую тактику в кампании по распространению зловредов. Злоумышленники рассылали письма от имени МИД с сообщением о визите делегации из КНДР. Основной целью атаки стали промышленные предприятия. Вредоносная рассылка велась на протяжении апреля и была нацелена преимущественно на промышленные компании.

Как сообщают специалисты компании «Эфшесть» / F6, письма отправлялись с фейкового адреса, замаскированного под МИД. В них содержалось уведомление о визите делегации из КНДР для «ознакомления с действующими производственными технологиями».

К письмам были приложены файлы. Один из них маскировался под письмо руководителю, другой содержал якобы инструкции от МИД с деталями и порядком проведения визита. На деле эти документы служили приманкой и использовались как контейнеры для распространения вредоносного приложения.

«При запуске этих файлов происходит заражение компьютера пользователя трояном удалённого доступа, который позволяет злоумышленникам собирать информацию о заражённой системе, похищать из неё файлы и выполнять различные команды», — приводит компания подробности о зловреде.

Группировка PhantomCore заявила о себе в 2024 году. Однако некоторые образцы вредоносного кода, которые она использовала, как показал анализ F6, датируются ещё 2022 годом.

Изначально PhantomCore занималась кибершпионажем и кибердиверсиями, связанными с уничтожением данных, однако также проводила финансово мотивированные атаки с использованием шифровальщиков. Отличительной особенностью группировки считается применение зловредов собственной разработки и нестандартных способов их доставки. В качестве целей PhantomCore в основном выбирает российские и белорусские компании.

RSS: Новости на портале Anti-Malware.ru