DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

Яков Шпунт 19 Февраля 2025 - 10:23

...

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

Исследователи из Университета Сент-Луиса продемонстрировали атаку на большие языковые модели (LLM), позволяющую манипулировать процессами рассуждения нейросетей. В отличие от других методов атак на искусственный интеллект, эта уязвимость не обнаруживается стандартными средствами и не требует изменения запросов.

Авторы исследования, Зен Го и Реза Турани, назвали свою разработку DarkMind. Техника базируется на уязвимостях парадигмы «цепочки рассуждений» (Chain-of-Thought, CoT), используемой в таких моделях, как ChatGPT, GPT-4, O1 и LLaMA-3.

DarkMind внедряет скрытые триггеры в приложения, работающие поверх языковых моделей, что делает атаку практически незаметной при обычном использовании. Выявить её сложно даже в приложениях, которых уже насчитывается сотни тысяч, так как она активируется только при срабатывании определенных шаблонов рассуждений.

При этом меры защиты, предназначенные для противодействия другим типам манипулятивных атак, не обнаруживают DarkMind, и вредоносная активность выявляется лишь после её активации.

Исследователи также установили, что чем совершеннее LLM, тем более они уязвимы к данной технике атак. Более того, для её применения не требуется модификация запросов или алгоритмов работы моделей, что делает технологию простой в использовании и потенциально массовой, особенно в таких секторах, как финансы и медицина, где LLM активно внедряются.

Зен Го и Реза Турани сообщили, что работают над защитными мерами, направленными на предотвращение подобных атак, и призвали разработчиков усилить встроенные механизмы защиты от манипулятивных воздействий на LLM. Однако, по мнению Microsoft, создать полностью безопасные системы на базе генеративного ИИ невозможно.

Следующая главная новость »

Подписывайтесь на телеграм-канал AM Live, чтобы всегда быть в курсе самых горячих и свежих новостей. Присоединяйтесь! »

Екатерина Быстрова 08 Января 2026 - 13:20

Ошибки конфигурации программ Сбои программ Домашние пользователи Корпорации

Мыши Logitech на macOS дали сбой из-за сертификата. Вот как это исправить

Если ваша мышь Logitech внезапно начала странно себя вести на macOS, вы такой не один, и причина у этой истории максимально неловкая для производителя. Проблема оказалась не в macOS, не в прошивке и не в самой мыши, а в просроченном сертификате Apple Developer у Logitech.

О проблеме первым рассказал пользователь Reddit, у которого MX Master 3S for Mac после почти двух лет безупречной работы вдруг «сломалась» на ровном месте: поменялось направление прокрутки, дополнительные кнопки перестали работать, а приложение Logi Options+ застряло в бесконечном цикле запуска.

Попытки «лечения» выглядели стандартно: перезагрузка компьютера, сброс мыши, переустановка приложения. Всё — безрезультатно. Причина вскрылась быстро: другой пользователь указал, что Logitech просто не продлила сертификат разработчика.

Из-за этого macOS перестала доверять приложению. В итоге:

Logi Options+ не запускается;
автоматическое обновление невозможно — по той же самой причине;
пользователь остаётся с дорогой мышью, работающей в «урезанном» режиме.

Надо отдать должное компании: Logitech не стала юлить и прямо признала ошибку.

«Мы здесь действительно облажались. Это непростительная ошибка. Приносим извинения за доставленные неудобства», — заявили в компании.

Проблему уже исправили, но обновляться придётся вручную. Logitech разослала пользователям электронные письма и опубликовала специальную страницу с инструкцией.

Что делать пользователям macOS

Для Logi Options+: