DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

Исследователи из Университета Сент-Луиса продемонстрировали атаку на большие языковые модели (LLM), позволяющую манипулировать процессами рассуждения нейросетей. В отличие от других методов атак на искусственный интеллект, эта уязвимость не обнаруживается стандартными средствами и не требует изменения запросов.

Авторы исследования, Зен Го и Реза Турани, назвали свою разработку DarkMind. Техника базируется на уязвимостях парадигмы «цепочки рассуждений» (Chain-of-Thought, CoT), используемой в таких моделях, как ChatGPT, GPT-4, O1 и LLaMA-3.

DarkMind внедряет скрытые триггеры в приложения, работающие поверх языковых моделей, что делает атаку практически незаметной при обычном использовании. Выявить её сложно даже в приложениях, которых уже насчитывается сотни тысяч, так как она активируется только при срабатывании определенных шаблонов рассуждений.

При этом меры защиты, предназначенные для противодействия другим типам манипулятивных атак, не обнаруживают DarkMind, и вредоносная активность выявляется лишь после её активации.

Исследователи также установили, что чем совершеннее LLM, тем более они уязвимы к данной технике атак. Более того, для её применения не требуется модификация запросов или алгоритмов работы моделей, что делает технологию простой в использовании и потенциально массовой, особенно в таких секторах, как финансы и медицина, где LLM активно внедряются.

Зен Го и Реза Турани сообщили, что работают над защитными мерами, направленными на предотвращение подобных атак, и призвали разработчиков усилить встроенные механизмы защиты от манипулятивных воздействий на LLM. Однако, по мнению Microsoft, создать полностью безопасные системы на базе генеративного ИИ невозможно.

WhatsApp Gold для россиян оказался инструментом кибершпионажа

В мессенджере WhatsApp (принадлежит признанной в России экстремистской организации и запрещённой корпорации Meta) среди российских пользователей снова начала распространяться «золотая классика» мошенников — приложение WhatsApp Gold. На фоне обсуждений возможных ограничений работы сервиса злоумышленники активно предлагают установить «улучшенную» версию мессенджера, которая якобы помогает восстановить его работоспособность.

На деле же речь идёт о зловреде для кибершпионажа. Как сообщил ТАСС специалист компании UserGate, WhatsApp Gold — это не официальный клиент, а инструмент для скрытого сбора данных.

Подобные схемы используются уже много лет: сообщения о WhatsApp Gold появлялись ещё до начала 2020-х и регулярно «возвращаются» при любом информационном шуме вокруг популярных сервисов.

Похожую активность ранее фиксировали и в компаниях F6 и «Мегафон». По их данным, мошенники продвигали поддельные версии не только WhatsApp, но и других популярных платформ — Telegram, YouTube и TikTok. Среди примеров — трояны с громкими названиями вроде TikTok 18+, YouTube Ultra или Telegram Unlock.

По словам и.о. директора по информационной безопасности UserGate Дмитрия Овчинникова, установка WhatsApp Gold может привести к серьёзным последствиям. Зловред позволяет злоумышленникам выгружать данные с устройства, включая учётные данные, а в отдельных случаях — получать доступ к аккаунтам на портале «Госуслуги».

Эксперт подчёркивает: любые предложения установить «дополнительное ПО» для восстановления или улучшения работы мессенджера следует сразу рассматривать как мошеннические. Официальных «альтернативных» клиентов WhatsApp с такими функциями не существует.

На этом фоне ситуация вокруг самого WhatsApp остаётся напряжённой. Роскомнадзор ранее заявлял о поэтапном введении ограничений в отношении мессенджера из-за нарушений законодательства и не исключал его полной блокировки в России.

Глава Совета при президенте РФ по развитию гражданского общества и правам человека Валерий Фадеев в интервью ТАСС отметил, что не видит проблемы в блокировке WhatsApp при наличии отечественных альтернатив, таких как Max.

Напомним, в соцсетях активно распространяется лайфхак, который, как утверждают пользователи, ускоряет работу мессенджера WhatsApp.

RSS: Новости на портале Anti-Malware.ru