DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

Исследователи из Университета Сент-Луиса продемонстрировали атаку на большие языковые модели (LLM), позволяющую манипулировать процессами рассуждения нейросетей. В отличие от других методов атак на искусственный интеллект, эта уязвимость не обнаруживается стандартными средствами и не требует изменения запросов.

Авторы исследования, Зен Го и Реза Турани, назвали свою разработку DarkMind. Техника базируется на уязвимостях парадигмы «цепочки рассуждений» (Chain-of-Thought, CoT), используемой в таких моделях, как ChatGPT, GPT-4, O1 и LLaMA-3.

DarkMind внедряет скрытые триггеры в приложения, работающие поверх языковых моделей, что делает атаку практически незаметной при обычном использовании. Выявить её сложно даже в приложениях, которых уже насчитывается сотни тысяч, так как она активируется только при срабатывании определенных шаблонов рассуждений.

При этом меры защиты, предназначенные для противодействия другим типам манипулятивных атак, не обнаруживают DarkMind, и вредоносная активность выявляется лишь после её активации.

Исследователи также установили, что чем совершеннее LLM, тем более они уязвимы к данной технике атак. Более того, для её применения не требуется модификация запросов или алгоритмов работы моделей, что делает технологию простой в использовании и потенциально массовой, особенно в таких секторах, как финансы и медицина, где LLM активно внедряются.

Зен Го и Реза Турани сообщили, что работают над защитными мерами, направленными на предотвращение подобных атак, и призвали разработчиков усилить встроенные механизмы защиты от манипулятивных воздействий на LLM. Однако, по мнению Microsoft, создать полностью безопасные системы на базе генеративного ИИ невозможно.

К 2031 году российский ИБ-рынок превысит 1 трлн рублей

По прогнозу Центра стратегических разработок (ЦСР), к 2031 году объём российского рынка кибербезопасности может превысить 1 трлн рублей при сохранении текущих тенденций. В 2025 году рынок ИБ достиг 364,4 млрд рублей, что на 16% выше уровня 2024 года.

По оценке аналитиков ЦСР, отрасль постепенно переходит от экстренного импортозамещения к более взвешенному выбору решений, архитектур и сервисных моделей.

Как отметили опрошенные «Коммерсантом» эксперты, со стороны заказчиков усилился запрос на эффективность и окупаемость затрат на ИБ.

По оценкам ЦСР, до 2031 года среднегодовые темпы роста рынка составят 19,4%. В результате к этому сроку он почти утроится и достигнет 1,15 трлн рублей.

Как и прежде, основной объём ИБ-рынка формируют средства сетевой безопасности. При этом сегменты инфраструктурной и прикладной безопасности, защиты данных, а также управления доступом растут быстрее. Кроме того, спрос всё заметнее смещается в сторону сервисов ИБ по моделям MSSP, MDR и SOC-as-a-Service.

Как прокомментировал заместитель директора группы компаний BI.ZONE Константин Левин, темпы роста замедляются, но остаются двузначными. Среди драйверов рынка он назвал не только импортозамещение, но и рост угроз, регуляторное давление и спрос бизнеса на киберустойчивость. К перегретым сегментам Левин отнёс NGFW и EDR, где уже работает большое количество компаний и где, по его оценке, неизбежна консолидация.

Среди недооценённых направлений он выделил безопасность сервисов с искусственным интеллектом и машинным обучением, управление поверхностью атак, а также инструменты управления привилегированными и машиночитаемыми учётными данными.

«Заказчики переходят от быстрой замены отдельных решений к осознанному выбору архитектуры, поставщиков и сервисных моделей», — прокомментировали в ГК «Солар». Основным драйвером рынка там назвали спрос на реальную киберустойчивость.

Заместитель генерального директора Positive Technologies Максим Филиппов подчеркнул, что компании стали жёстче оценивать проекты с точки зрения практического результата и возврата инвестиций. Также заметной стала тенденция смещения фокуса с импортозамещения как самоцели на прикладную эффективность решений. В ближайшие годы, по его оценке, темпы роста будут умеренными, а рынок будут определять консолидация, спрос на интегральные платформы и решения.

Вице-президент по развитию бизнеса «Лаборатории Касперского» в России и странах СНГ Анна Кулашова отмечает, что российский рынок растёт на уровне мирового — на 10–12% в год. Его динамику определяют расширение поверхности атак, рост цифровизации и геополитическая напряжённость.

RSS: Новости на портале Anti-Malware.ru