DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

Исследователи из Университета Сент-Луиса продемонстрировали атаку на большие языковые модели (LLM), позволяющую манипулировать процессами рассуждения нейросетей. В отличие от других методов атак на искусственный интеллект, эта уязвимость не обнаруживается стандартными средствами и не требует изменения запросов.

Авторы исследования, Зен Го и Реза Турани, назвали свою разработку DarkMind. Техника базируется на уязвимостях парадигмы «цепочки рассуждений» (Chain-of-Thought, CoT), используемой в таких моделях, как ChatGPT, GPT-4, O1 и LLaMA-3.

DarkMind внедряет скрытые триггеры в приложения, работающие поверх языковых моделей, что делает атаку практически незаметной при обычном использовании. Выявить её сложно даже в приложениях, которых уже насчитывается сотни тысяч, так как она активируется только при срабатывании определенных шаблонов рассуждений.

При этом меры защиты, предназначенные для противодействия другим типам манипулятивных атак, не обнаруживают DarkMind, и вредоносная активность выявляется лишь после её активации.

Исследователи также установили, что чем совершеннее LLM, тем более они уязвимы к данной технике атак. Более того, для её применения не требуется модификация запросов или алгоритмов работы моделей, что делает технологию простой в использовании и потенциально массовой, особенно в таких секторах, как финансы и медицина, где LLM активно внедряются.

Зен Го и Реза Турани сообщили, что работают над защитными мерами, направленными на предотвращение подобных атак, и призвали разработчиков усилить встроенные механизмы защиты от манипулятивных воздействий на LLM. Однако, по мнению Microsoft, создать полностью безопасные системы на базе генеративного ИИ невозможно.

«Аладдин» выпустил Aladdin 2FA без зависимости от App Store и Google Play

Российская компания «Аладдин» представила новую версию решения для двухфакторной аутентификации Aladdin 2FA, которая работает в формате Progressive Web Application (PWA). Главное новшество — теперь приложение не зависит от зарубежных магазинов приложений вроде App Store и Google Play.

Новый формат расширяет возможности JaCarta Authentication Server (JAS) — корпоративного сервера аутентификации, который используется для организации двухфакторной защиты в информационных системах и бизнес-приложениях.

В компании отмечают, что традиционная схема распространения мобильных приложений через магазины приложений несет определенные риски. Сервис может столкнуться с ограничениями, удалением из каталога или другими внешними факторами, которые влияют на доступность решения для пользователей.

В случае с PWA эти проблемы обходятся стороной. Приложение размещается непосредственно в инфраструктуре заказчика и запускается через веб-браузер. При этом для пользователя всё выглядит привычно: после установки на устройство Aladdin 2FA получает собственную иконку, работает как обычное мобильное приложение и поддерживает стандартные сценарии двухфакторной аутентификации.

Еще одно преимущество — универсальность. Решение работает на смартфонах, планшетах, ноутбуках и автоматизированных рабочих местах независимо от используемой аппаратной платформы.

Особый акцент разработчики делают на полном контроле со стороны организации. Все компоненты системы разворачиваются внутри инфраструктуры заказчика, а обновления распространяются централизованно вместе с серверной частью. Это избавляет ИТ-службы от необходимости публиковать новые версии через сторонние площадки и упрощает администрирование.

По словам менеджера по развитию бизнеса JMS/JAS/JIP компании «Аладдин» Станислава Винарского, новый формат делает двухфакторную аутентификацию по-настоящему независимой. Заказчики могут самостоятельно управлять размещением, обновлением и эксплуатацией решения, не полагаясь на зарубежные сервисы и внешние платформы.

На фоне растущего интереса российских компаний к технологическому суверенитету такой подход выглядит вполне логичным. Если раньше вопрос стоял в том, каким приложением пользоваться для двухфакторной аутентификации, то теперь всё чаще возникает другой: как сделать так, чтобы доступ к этому приложению не зависел от решений иностранных площадок.

RSS: Новости на портале Anti-Malware.ru