DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

Исследователи из Университета Сент-Луиса продемонстрировали атаку на большие языковые модели (LLM), позволяющую манипулировать процессами рассуждения нейросетей. В отличие от других методов атак на искусственный интеллект, эта уязвимость не обнаруживается стандартными средствами и не требует изменения запросов.

Авторы исследования, Зен Го и Реза Турани, назвали свою разработку DarkMind. Техника базируется на уязвимостях парадигмы «цепочки рассуждений» (Chain-of-Thought, CoT), используемой в таких моделях, как ChatGPT, GPT-4, O1 и LLaMA-3.

DarkMind внедряет скрытые триггеры в приложения, работающие поверх языковых моделей, что делает атаку практически незаметной при обычном использовании. Выявить её сложно даже в приложениях, которых уже насчитывается сотни тысяч, так как она активируется только при срабатывании определенных шаблонов рассуждений.

При этом меры защиты, предназначенные для противодействия другим типам манипулятивных атак, не обнаруживают DarkMind, и вредоносная активность выявляется лишь после её активации.

Исследователи также установили, что чем совершеннее LLM, тем более они уязвимы к данной технике атак. Более того, для её применения не требуется модификация запросов или алгоритмов работы моделей, что делает технологию простой в использовании и потенциально массовой, особенно в таких секторах, как финансы и медицина, где LLM активно внедряются.

Зен Го и Реза Турани сообщили, что работают над защитными мерами, направленными на предотвращение подобных атак, и призвали разработчиков усилить встроенные механизмы защиты от манипулятивных воздействий на LLM. Однако, по мнению Microsoft, создать полностью безопасные системы на базе генеративного ИИ невозможно.

Google Chrome не спасает от слежки даже без cookies

Эпоха, когда приватность в браузере сводилась к вопросу «включены ли cookies», окончательно ушла в прошлое. Новый технический разбор проблем конфиденциальности в Google Chrome показывает: современные методы отслеживания стали намного продуманнее.

Теперь сайтам уже не обязательно полагаться только на cookies, они могут собирать цифровой отпечаток пользователя с помощью разных трюков с хранилищами браузера и даже утечек через HTTP-заголовки.

Цифровой отпечаток — это способ собрать множество мелких технических особенностей браузера и устройства, а затем сложить их в довольно уникальный профиль.

Даже если пользователь очистит cookies, такой «отпечаток» нередко всё равно остаётся устойчивым и позволяет распознать юзера повторно.

Как отмечается в материале, исследование 2025 года показало, что canvas fingerprinting использовался на 12,7% из 20 тысяч самых популярных сайтов, попавших в выборку. Это уже вполне рабочая и распространённая практика, а не редкий эксперимент для узкого круга специалистов.

У Chrome, конечно, есть определённые попытки сократить объём пассивно собираемых данных. Например, браузер ограничил часть информации в классической строке User-Agent и перенёс больше сведений в механизм User-Agent Client Hints. Но полностью проблема от этого не исчезла. Сайты по-прежнему могут запрашивать у браузера подробные сведения через navigator.userAgentData.getHighEntropyValues().

В результате им доступны такие детали, как архитектура устройства, разрядность, версия платформы и полная версия браузера, а всё это отлично усиливает точность цифрового отпечатка.

Отдельная история — сигналы, которые приходят из графических и мультимедийных API. Самыми полезными для отслеживания остаются canvas, WebGL и audio processing. Всё дело в том, что разные устройства и системы чуть-чуть по-разному рисуют изображения и обрабатывают звук. Для обычного пользователя эти различия незаметны, но они помогают отличить один компьютер от другого.

И это ещё не всё. Угрозы для приватности скрываются не только в JavaScript API. Даже HTTP-заголовки могут выдавать лишнюю информацию или помогать отслеживать пользователя между визитами. В качестве примера в материале приводится уязвимость CVE-2025-4664 в Chrome: она была связана с обработкой заголовка Link и позволяла навязать слишком мягкую политику referrer, из-за чего в межсайтовых запросах могли утекать полные строки запросов. А это уже потенциальный путь к раскрытию токенов. Позже Google закрыла проблему в Chrome 136.

Отдельно авторы материала напоминают и о больших переменах в политике Google по cookies. Долгий план по отказу от сторонних «печенек» в Chrome фактически был свёрнут ещё в июле 2024 года, а более широкий проект Privacy Sandbox затем вообще прекратили развивать в 2025 году на фоне слабого принятия рынком и критики со стороны экосистемы.

RSS: Новости на портале Anti-Malware.ru