DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

Исследователи из Университета Сент-Луиса продемонстрировали атаку на большие языковые модели (LLM), позволяющую манипулировать процессами рассуждения нейросетей. В отличие от других методов атак на искусственный интеллект, эта уязвимость не обнаруживается стандартными средствами и не требует изменения запросов.

Авторы исследования, Зен Го и Реза Турани, назвали свою разработку DarkMind. Техника базируется на уязвимостях парадигмы «цепочки рассуждений» (Chain-of-Thought, CoT), используемой в таких моделях, как ChatGPT, GPT-4, O1 и LLaMA-3.

DarkMind внедряет скрытые триггеры в приложения, работающие поверх языковых моделей, что делает атаку практически незаметной при обычном использовании. Выявить её сложно даже в приложениях, которых уже насчитывается сотни тысяч, так как она активируется только при срабатывании определенных шаблонов рассуждений.

При этом меры защиты, предназначенные для противодействия другим типам манипулятивных атак, не обнаруживают DarkMind, и вредоносная активность выявляется лишь после её активации.

Исследователи также установили, что чем совершеннее LLM, тем более они уязвимы к данной технике атак. Более того, для её применения не требуется модификация запросов или алгоритмов работы моделей, что делает технологию простой в использовании и потенциально массовой, особенно в таких секторах, как финансы и медицина, где LLM активно внедряются.

Зен Го и Реза Турани сообщили, что работают над защитными мерами, направленными на предотвращение подобных атак, и призвали разработчиков усилить встроенные механизмы защиты от манипулятивных воздействий на LLM. Однако, по мнению Microsoft, создать полностью безопасные системы на базе генеративного ИИ невозможно.

Кому стоит опасаться усиления контроля над оборотом наличных

20 мая Банк России рекомендовал кредитным организациям усилить контроль за операциями по внесению крупных сумм наличных. Мера направлена на противодействие легализации преступных доходов. Банкам предлагается ежедневно анализировать операции клиентов и обращать внимание на характерные признаки подозрительной активности.

Для физических и юридических лиц, а также индивидуальных предпринимателей эти признаки различаются. Соответствующие методические рекомендации 1-МР Банк России выпустил 20 мая.

При этом рекомендации не касаются клиентов, чьё финансовое положение, деловая репутация и источники происхождения средств уже подтверждены документально. В таких случаях банк располагает всей необходимой информацией, поэтому дополнительная проверка не требуется.

Как прокомментировала агентству «Прайм» доцент кафедры финансов устойчивого развития РЭУ им. Г. В. Плеханова, международный финансовый советник Мария Ермилова, внимание банков могут привлечь клиенты, которые вносят крупные суммы наличными — не менее 5 млн рублей в течение 30 дней. Особый интерес вызовут случаи, когда средства со счетов, пополненных наличными, быстро расходуются.

«Основная цель рекомендаций — противодействие легализации (отмыванию) доходов, полученных преступным путём, и другим противозаконным действиям. Если человек вносит крупные суммы наличными и не может подтвердить их происхождение, его операциями могут заинтересоваться. Если все документы в порядке — ничего не изменится», — отметила финансист.

Мария Ермилова рекомендовала заранее подготовить документы, подтверждающие происхождение средств. Это поможет избежать возможных проблем из-за повышенного внимания со стороны банков.

Между тем в России растёт оборот наличных. По данным на конец апреля, объём наличных на руках у населения и бизнеса составил 20 трлн рублей. В таких сферах, как продовольственная и мебельная розница, продажи автотоваров, строительство и общественное питание, доля расчётов наличными превысила треть.

RSS: Новости на портале Anti-Malware.ru