DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

Исследователи из Университета Сент-Луиса продемонстрировали атаку на большие языковые модели (LLM), позволяющую манипулировать процессами рассуждения нейросетей. В отличие от других методов атак на искусственный интеллект, эта уязвимость не обнаруживается стандартными средствами и не требует изменения запросов.

Авторы исследования, Зен Го и Реза Турани, назвали свою разработку DarkMind. Техника базируется на уязвимостях парадигмы «цепочки рассуждений» (Chain-of-Thought, CoT), используемой в таких моделях, как ChatGPT, GPT-4, O1 и LLaMA-3.

DarkMind внедряет скрытые триггеры в приложения, работающие поверх языковых моделей, что делает атаку практически незаметной при обычном использовании. Выявить её сложно даже в приложениях, которых уже насчитывается сотни тысяч, так как она активируется только при срабатывании определенных шаблонов рассуждений.

При этом меры защиты, предназначенные для противодействия другим типам манипулятивных атак, не обнаруживают DarkMind, и вредоносная активность выявляется лишь после её активации.

Исследователи также установили, что чем совершеннее LLM, тем более они уязвимы к данной технике атак. Более того, для её применения не требуется модификация запросов или алгоритмов работы моделей, что делает технологию простой в использовании и потенциально массовой, особенно в таких секторах, как финансы и медицина, где LLM активно внедряются.

Зен Го и Реза Турани сообщили, что работают над защитными мерами, направленными на предотвращение подобных атак, и призвали разработчиков усилить встроенные механизмы защиты от манипулятивных воздействий на LLM. Однако, по мнению Microsoft, создать полностью безопасные системы на базе генеративного ИИ невозможно.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Вредоносные программы применялись в 76% атак на компании в 2025 году

По данным исследования Positive Technologies, во втором квартале 2025 года вредоносные программы по-прежнему остаются главным инструментом киберпреступников: они использовались в 76% успешных атак на организации. Чаще всего последствия таких инцидентов выражались в утечке конфиденциальных данных (52%) и нарушении работы компаний (45%).

Эксперты отмечают, что за первое полугодие использование зловредов заметно выросло: по сравнению с первым кварталом — на 26%, а по сравнению с тем же периодом прошлого года — на 12%. Наиболее распространённые типы:

  • программы-вымогатели (49%),
  • средства удалённого управления (33%),
  • шпионский софт (22%).

 

Популярность зловредов объясняется их способностью быстро проникать в инфраструктуру, оставаться незамеченными и обеспечивать злоумышленникам долгосрочный контроль. При этом растёт использование загрузчиков — их доля увеличилась втрое по сравнению с предыдущим кварталом. Такие инструменты применяют для многоэтапной доставки: сначала в систему попадает загрузчик, а затем — трояны удалённого доступа, инфостилеры или шифровальщики.

В частности, специалисты зафиксировали использование нового загрузчика ModiLoader (DBatLoader), распространявшегося через фишинговые письма под видом банковских документов. На завершающем этапе он устанавливал Snake Keylogger, крадущий пароли и перехватывающий нажатия клавиш.

Отдельное направление — использование в атаках легального софта. Его доля достигла 11%. Киберпреступники всё активнее применяют малоизвестные утилиты и даже легитимные программы для маскировки своей активности.

По прогнозам, в ближайшее время будет расти число комбинированных атак, где применяются сразу несколько типов зловредов. Всё больше вымогателей будут не столько шифровать данные, сколько похищать их для последующего давления на жертву. Злоумышленники будут чаще использовать легитимные инструменты и облачные сервисы, а также тактику living off the land — когда атака маскируется под обычную активность в системе.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru