DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

Исследователи из Университета Сент-Луиса продемонстрировали атаку на большие языковые модели (LLM), позволяющую манипулировать процессами рассуждения нейросетей. В отличие от других методов атак на искусственный интеллект, эта уязвимость не обнаруживается стандартными средствами и не требует изменения запросов.

Авторы исследования, Зен Го и Реза Турани, назвали свою разработку DarkMind. Техника базируется на уязвимостях парадигмы «цепочки рассуждений» (Chain-of-Thought, CoT), используемой в таких моделях, как ChatGPT, GPT-4, O1 и LLaMA-3.

DarkMind внедряет скрытые триггеры в приложения, работающие поверх языковых моделей, что делает атаку практически незаметной при обычном использовании. Выявить её сложно даже в приложениях, которых уже насчитывается сотни тысяч, так как она активируется только при срабатывании определенных шаблонов рассуждений.

При этом меры защиты, предназначенные для противодействия другим типам манипулятивных атак, не обнаруживают DarkMind, и вредоносная активность выявляется лишь после её активации.

Исследователи также установили, что чем совершеннее LLM, тем более они уязвимы к данной технике атак. Более того, для её применения не требуется модификация запросов или алгоритмов работы моделей, что делает технологию простой в использовании и потенциально массовой, особенно в таких секторах, как финансы и медицина, где LLM активно внедряются.

Зен Го и Реза Турани сообщили, что работают над защитными мерами, направленными на предотвращение подобных атак, и призвали разработчиков усилить встроенные механизмы защиты от манипулятивных воздействий на LLM. Однако, по мнению Microsoft, создать полностью безопасные системы на базе генеративного ИИ невозможно.

Взлом российской криптобиржи Grinex обернулся кражей на миллиард

Российская криптобиржа Grinex сообщила о взломе, в результате которого было похищено около 1 млрд рублей. По данным самой площадки, пострадали 37 клиентов. Все операции на бирже временно приостановлены.

О взломе биржа сообщила в своём официальном Telegram-канале. Произошедшее там назвали «целенаправленной атакой зарубежных ведомств». В компании заявили, что на это указывают характер инцидента и ресурсы, которые, по её версии, использовали злоумышленники.

Как сообщают «Ведомости», в ходе инцидента были похищены средства с 37 криптокошельков. После этого их конвертировали в криптовалюту TRX и перевели на единый адрес.

Работа площадки полностью остановлена. На сайте размещена заглушка о проведении технических работ, а физический офис прекратил выдачу пропусков.

Как заявили представители биржи в комментарии одному из профильных ресурсов, по факту инцидента уже подано заявление в правоохранительные органы, расследование начато.

Grinex и ранее находилась под давлением зарубежных финансовых регуляторов. В 2025 году биржа попала под санкции. Ряд аналитических агентств называл её ребрендингом криптобиржи Garantex, закрытой в начале того же года после введения жёстких санкций. Руководство Grinex эту связь отрицало.

Перспективы возврата средств председатель Союза цифровых платформ «Цифровой мир» Валерий Корнеев в комментарии для НСН оценил как крайне туманные:

«Физически где находятся люди и кто именно несёт ответственность за ту или иную криптобиржу? Они могут быть гражданами одной страны, находиться в другой, а серверы — ещё в третьей.

Плюс большинство стран мира не признаёт криптовалюты имуществом. Поэтому привлечь кого-то к ответственности сложно, а зачастую и взыскивать просто нечего, поскольку речь идёт о другой юрисдикции. Вряд ли судебные приставы могут здесь помочь. Слишком много факторов, а шансов мало».

RSS: Новости на портале Anti-Malware.ru