DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

Исследователи из Университета Сент-Луиса продемонстрировали атаку на большие языковые модели (LLM), позволяющую манипулировать процессами рассуждения нейросетей. В отличие от других методов атак на искусственный интеллект, эта уязвимость не обнаруживается стандартными средствами и не требует изменения запросов.

Авторы исследования, Зен Го и Реза Турани, назвали свою разработку DarkMind. Техника базируется на уязвимостях парадигмы «цепочки рассуждений» (Chain-of-Thought, CoT), используемой в таких моделях, как ChatGPT, GPT-4, O1 и LLaMA-3.

DarkMind внедряет скрытые триггеры в приложения, работающие поверх языковых моделей, что делает атаку практически незаметной при обычном использовании. Выявить её сложно даже в приложениях, которых уже насчитывается сотни тысяч, так как она активируется только при срабатывании определенных шаблонов рассуждений.

При этом меры защиты, предназначенные для противодействия другим типам манипулятивных атак, не обнаруживают DarkMind, и вредоносная активность выявляется лишь после её активации.

Исследователи также установили, что чем совершеннее LLM, тем более они уязвимы к данной технике атак. Более того, для её применения не требуется модификация запросов или алгоритмов работы моделей, что делает технологию простой в использовании и потенциально массовой, особенно в таких секторах, как финансы и медицина, где LLM активно внедряются.

Зен Го и Реза Турани сообщили, что работают над защитными мерами, направленными на предотвращение подобных атак, и призвали разработчиков усилить встроенные механизмы защиты от манипулятивных воздействий на LLM. Однако, по мнению Microsoft, создать полностью безопасные системы на базе генеративного ИИ невозможно.

Новый Android-троян крадёт данные из 180 банковских и криптосервисов

Исследователи из Cyble Research and Intelligence Labs (CRIL) обнаружили новую масштабную кампанию по распространению Android-трояна, нацеленного на кражу банковских данных и учётных записей криптовалютных сервисов. Вредоносная программа уже атакует пользователей как минимум в десяти странах и маскируется под популярные приложения, включая TikTok.

Атака начинается с поддельных ссылок на загрузку приложений. После установки дроппер показывает пользователю убедительное уведомление об обновлении Google Play и пошаговую инструкцию по выдаче необходимых разрешений.

Под видом компонента «Google Play Services» вредоносная программа получает доступ к службе специальных возможностей Android (Accessibility Service), что позволяет ей закрепиться в системе и получить расширенный контроль над устройством.

Троян постоянно отслеживает, какие приложения запускает пользователь, и сверяет их со встроенным списком целей. В этот список входят более 180 банковских, финансовых и криптовалютных приложений. Когда жертва открывает одно из них, поверх легального интерфейса появляется фишинговая форма, визуально практически неотличимая от настоящей страницы входа.

 

Пользователь вводит логин, пароль или код подтверждения, даже не подозревая, что данные отправляются злоумышленникам.

Возможности трояна этим не ограничиваются. Исследователи обнаружили поддержку более 30 удалённых команд. Операторы могут управлять буфером обмена, имитировать нажатия на экран, показывать поддельные уведомления и выполнять другие действия на заражённом устройстве.

Отдельную угрозу представляет функция потоковой передачи изображения с экрана. Используя штатный API Android MediaProjection, вредоносная программа непрерывно захватывает экран устройства и отправляет снимки на сервер злоумышленников в формате JPEG. Это позволяет практически в реальном времени наблюдать за финансовыми операциями жертвы и перехватывать одноразовые коды подтверждения.

Инфраструктура управления трояном разделена на несколько каналов связи. Один порт используется для команд операторов, второй — для телеметрии заражённого устройства, третий — для передачи видеопотока с экрана.

RSS: Новости на портале Anti-Malware.ru