DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

Исследователи из Университета Сент-Луиса продемонстрировали атаку на большие языковые модели (LLM), позволяющую манипулировать процессами рассуждения нейросетей. В отличие от других методов атак на искусственный интеллект, эта уязвимость не обнаруживается стандартными средствами и не требует изменения запросов.

Авторы исследования, Зен Го и Реза Турани, назвали свою разработку DarkMind. Техника базируется на уязвимостях парадигмы «цепочки рассуждений» (Chain-of-Thought, CoT), используемой в таких моделях, как ChatGPT, GPT-4, O1 и LLaMA-3.

DarkMind внедряет скрытые триггеры в приложения, работающие поверх языковых моделей, что делает атаку практически незаметной при обычном использовании. Выявить её сложно даже в приложениях, которых уже насчитывается сотни тысяч, так как она активируется только при срабатывании определенных шаблонов рассуждений.

При этом меры защиты, предназначенные для противодействия другим типам манипулятивных атак, не обнаруживают DarkMind, и вредоносная активность выявляется лишь после её активации.

Исследователи также установили, что чем совершеннее LLM, тем более они уязвимы к данной технике атак. Более того, для её применения не требуется модификация запросов или алгоритмов работы моделей, что делает технологию простой в использовании и потенциально массовой, особенно в таких секторах, как финансы и медицина, где LLM активно внедряются.

Зен Го и Реза Турани сообщили, что работают над защитными мерами, направленными на предотвращение подобных атак, и призвали разработчиков усилить встроенные механизмы защиты от манипулятивных воздействий на LLM. Однако, по мнению Microsoft, создать полностью безопасные системы на базе генеративного ИИ невозможно.

Linux-бэкдор PamDOORa превращает PAM в скрытую дверь для SSH-доступа

Исследователи из Flare.io рассказали о новом Linux-бэкдоре PamDOORa, который продают на русскоязычном киберпреступном форуме Rehub. Автор под ником darkworm сначала просил за инструмент 1600 долларов, но позже снизил цену до 900 долларов.

PamDOORa — это PAM-бэкдор, то есть вредоносный модуль для системы аутентификации Linux. PAM используется в Unix- и Linux-системах для подключения разных механизмов входа: паролей, ключей, биометрии и других вариантов проверки пользователя.

Проблема в том, что PAM-модули обычно работают с высокими привилегиями. Если злоумышленник уже получил root-доступ и установил вредоносный модуль, он может закрепиться в системе надолго.

PamDOORa предназначен именно для постэксплуатации. Сначала атакующему нужно попасть на сервер другим способом, а затем он устанавливает модуль, чтобы сохранить доступ. После этого можно входить по SSH с помощью специального пароля и заданной комбинации TCP-порта.

 

Но этим функциональность не ограничивается. Бэкдор также может перехватывать учётные данные легитимных пользователей, которые проходят аутентификацию через заражённую систему. Иными словами, каждый нормальный вход на сервер может превращаться в источник новых логинов и паролей для атакующего.

Отдельно исследователи отмечают возможности антианализа PamDOORa. Инструмент умеет вмешиваться в журналы аутентификации и удалять следы вредоносной активности, чтобы администратору было сложнее заметить подозрительные входы.

Пока нет подтверждений, что PamDOORa уже применялся в реальных атаках. Но сам факт продажи такого инструмента показывает, что Linux-серверы всё чаще становятся целью не только через уязвимости, но и через механизмы долгосрочного скрытого доступа.

По оценке Flare.io, PamDOORa выглядит более зрелым инструментом, чем обычные публичные бэкдоры для PAM. В нём собраны перехват учётных данных, скрытый SSH-доступ, зачистка логов, антиотладка и сетевые триггеры.

RSS: Новости на портале Anti-Malware.ru