DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

Исследователи из Университета Сент-Луиса продемонстрировали атаку на большие языковые модели (LLM), позволяющую манипулировать процессами рассуждения нейросетей. В отличие от других методов атак на искусственный интеллект, эта уязвимость не обнаруживается стандартными средствами и не требует изменения запросов.

Авторы исследования, Зен Го и Реза Турани, назвали свою разработку DarkMind. Техника базируется на уязвимостях парадигмы «цепочки рассуждений» (Chain-of-Thought, CoT), используемой в таких моделях, как ChatGPT, GPT-4, O1 и LLaMA-3.

DarkMind внедряет скрытые триггеры в приложения, работающие поверх языковых моделей, что делает атаку практически незаметной при обычном использовании. Выявить её сложно даже в приложениях, которых уже насчитывается сотни тысяч, так как она активируется только при срабатывании определенных шаблонов рассуждений.

При этом меры защиты, предназначенные для противодействия другим типам манипулятивных атак, не обнаруживают DarkMind, и вредоносная активность выявляется лишь после её активации.

Исследователи также установили, что чем совершеннее LLM, тем более они уязвимы к данной технике атак. Более того, для её применения не требуется модификация запросов или алгоритмов работы моделей, что делает технологию простой в использовании и потенциально массовой, особенно в таких секторах, как финансы и медицина, где LLM активно внедряются.

Зен Го и Реза Турани сообщили, что работают над защитными мерами, направленными на предотвращение подобных атак, и призвали разработчиков усилить встроенные механизмы защиты от манипулятивных воздействий на LLM. Однако, по мнению Microsoft, создать полностью безопасные системы на базе генеративного ИИ невозможно.

Под видом Telegram-клиентов и игр орудуют Chrome-аддоны для кражи аккаунтов

Исследователи из Socket Threat Research Team обнаружили в Chrome Web Store крупную кампанию с 108 вредоносными расширениями, которые маскировались под вполне безобидные инструменты — от Telegram-клиентов и переводчиков до игр, надстроек для YouTube и TikTok.

По оценке Socket, суммарно эти расширения успели набрать около 20 тысяч установок.

Схема выглядела так: пользователь устанавливал расширение, получал рабочий интерфейс — например, боковую панель для Telegram или простую игру, — а в фоне уже работал вредоносный код.

Все 108 расширений, как утверждают исследователи, были завязаны на единую управляющую инфраструктуру cloudapi[.]stream, через которую операторы собирали похищенные данные.

Чтобы не бросаться в глаза, кампания была разнесена по пяти разным «издателям»: Yana Project, GameGen, SideGames, Rodeo Games и InterAlt. На первый взгляд это выглядело как набор независимых разработчиков, но анализ кода показал, что вся эта история, скорее всего, управлялась одним оператором. Дополнительным признаком общей координации Socket называет использование всего двух проектов Google Cloud для OAuth2-инфраструктуры у десятков расширений.

Одним из самых опасных расширений исследователи назвали Telegram Multi-account. По их данным, оно крало активную веб-сессию Telegram из браузера жертвы и отправляло её на сервер злоумышленников каждые 15 секунд. Фактически это позволяло поддерживать почти непрерывное «зеркало» чужого аккаунта.

Но Telegram был не единственной целью. По информации Socket, 54 расширения собирали данные об аккаунтах Google через OAuth2-механизмы. Сами токены, как отмечается, могли не покидать браузер, но злоумышленники использовали их, чтобы получить постоянные идентификаторы жертв: адреса почты, имена и уникальные account ID.

У 45 аддонов исследователи нашли функцию, которая при каждом запуске браузера связывалась с сервером и, если получала нужную команду, незаметно открывала в новой вкладке любой указанный URL. Это уже почти готовый бэкдор: через него можно подсовывать пользователю фишинговые страницы, редиректы или другой вредоносный контент без явного взаимодействия с самим расширением.

Socket также отмечает технические признаки, указывающие на возможную связь кампании с Восточной Европой: в коде нашли русскоязычные отладочные строки, а в одном из файлов политики конфиденциальности — адрес поддержки с упоминанием Киева.

RSS: Новости на портале Anti-Malware.ru