DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

Исследователи из Университета Сент-Луиса продемонстрировали атаку на большие языковые модели (LLM), позволяющую манипулировать процессами рассуждения нейросетей. В отличие от других методов атак на искусственный интеллект, эта уязвимость не обнаруживается стандартными средствами и не требует изменения запросов.

Авторы исследования, Зен Го и Реза Турани, назвали свою разработку DarkMind. Техника базируется на уязвимостях парадигмы «цепочки рассуждений» (Chain-of-Thought, CoT), используемой в таких моделях, как ChatGPT, GPT-4, O1 и LLaMA-3.

DarkMind внедряет скрытые триггеры в приложения, работающие поверх языковых моделей, что делает атаку практически незаметной при обычном использовании. Выявить её сложно даже в приложениях, которых уже насчитывается сотни тысяч, так как она активируется только при срабатывании определенных шаблонов рассуждений.

При этом меры защиты, предназначенные для противодействия другим типам манипулятивных атак, не обнаруживают DarkMind, и вредоносная активность выявляется лишь после её активации.

Исследователи также установили, что чем совершеннее LLM, тем более они уязвимы к данной технике атак. Более того, для её применения не требуется модификация запросов или алгоритмов работы моделей, что делает технологию простой в использовании и потенциально массовой, особенно в таких секторах, как финансы и медицина, где LLM активно внедряются.

Зен Го и Реза Турани сообщили, что работают над защитными мерами, направленными на предотвращение подобных атак, и призвали разработчиков усилить встроенные механизмы защиты от манипулятивных воздействий на LLM. Однако, по мнению Microsoft, создать полностью безопасные системы на базе генеративного ИИ невозможно.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Защита ядра Linux не спасает от эксплуатации CVE-2024-50264

Исследователи нашли новый способ эксплуатации уязвимости в ядре Linux — CVE-2024-50264. Этот баг в подсистеме AF_VSOCK позволяет вызвать use-after-free в объекте virtio_vsock_sock во время операций соединения. Уязвимость существует ещё с версии ядра 4.8 и опасна тем, что её можно эксплуатировать без привилегий пользовательских пространств.

До недавнего времени считалось, что из-за механизмов защиты ядра — вроде рандомизации slab-кешей и защиты от состояния гонки (race condition) — эксплуатация крайне затруднена.

Но исследователи смогли обойти эти барьеры и показали, что атака вполне реальна. За это уязвимость даже получила премию Pwnie Award 2025 в номинации «Лучшая эскалация привилегий».

Ключ к успеху — нестандартные техники. В частности, уязвимость удаётся стабильно воспроизводить с помощью «бессмертного» POSIX-сигнала, прерывающего системный вызов connect() и создающего состояние гонки.

Дальше атакующие управляют распределением памяти так, чтобы освободившиеся объекты занимали нужные структуры, и подменяют их своими данными.

В процессе удаётся повредить критические объекты ядра, например msg_msg и pipe_buffer. Это открывает доступ к утечкам информации и чтению / записи произвольных адресов в памяти ядра. Для этого эксплойт задействует очередь сообщений, позволяя вытащить чувствительные указатели, включая данные об учётных записях.

 

Разработчики отметили, что новые техники напоминают известные эксплойты вроде Dirty Pipe, но приспособлены для более жёстких условий. В итоге появляется относительно «прямая» дорожка для повышения привилегий на современных Linux-системах.

Эксперты подчёркивают: CVE-2024-50264 — это критическая уязвимость, требующая срочного патча и внимательного анализа мер защиты ядра. Проект kernel-hack-drill, с помощью которого исследователи отрабатывали эксплойты, теперь используют как платформу для изучения подобных атак.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru