DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

Исследователи из Университета Сент-Луиса продемонстрировали атаку на большие языковые модели (LLM), позволяющую манипулировать процессами рассуждения нейросетей. В отличие от других методов атак на искусственный интеллект, эта уязвимость не обнаруживается стандартными средствами и не требует изменения запросов.

Авторы исследования, Зен Го и Реза Турани, назвали свою разработку DarkMind. Техника базируется на уязвимостях парадигмы «цепочки рассуждений» (Chain-of-Thought, CoT), используемой в таких моделях, как ChatGPT, GPT-4, O1 и LLaMA-3.

DarkMind внедряет скрытые триггеры в приложения, работающие поверх языковых моделей, что делает атаку практически незаметной при обычном использовании. Выявить её сложно даже в приложениях, которых уже насчитывается сотни тысяч, так как она активируется только при срабатывании определенных шаблонов рассуждений.

При этом меры защиты, предназначенные для противодействия другим типам манипулятивных атак, не обнаруживают DarkMind, и вредоносная активность выявляется лишь после её активации.

Исследователи также установили, что чем совершеннее LLM, тем более они уязвимы к данной технике атак. Более того, для её применения не требуется модификация запросов или алгоритмов работы моделей, что делает технологию простой в использовании и потенциально массовой, особенно в таких секторах, как финансы и медицина, где LLM активно внедряются.

Зен Го и Реза Турани сообщили, что работают над защитными мерами, направленными на предотвращение подобных атак, и призвали разработчиков усилить встроенные механизмы защиты от манипулятивных воздействий на LLM. Однако, по мнению Microsoft, создать полностью безопасные системы на базе генеративного ИИ невозможно.

Блокировки VPN ударили по российским разработчикам

Ограничения на использование VPN привели к проблемам со стабильным доступом к репозиториям кода и другим элементам инфраструктуры разработки. В результате многие процессы разработки программного обеспечения существенно осложнились. В первую очередь трудности затронули компании, участвующие в международных проектах и активно использующие открытый код.

О том, что меры регулятора по противодействию использованию VPN создают проблемы для российских разработчиков, сообщает «Коммерсантъ» со ссылкой на представителей нескольких отечественных компаний.

По оценкам экспертов, которые приводит издание, доля открытого кода во многих продуктах, включая решения из реестра Минцифры, превышает 50%, а в отдельных случаях достигает 90%.

При этом доступ к ключевым элементам инфраструктуры разработки — репозиториям кода, системам управления версиями, библиотекам и средам разработки с облачными компонентами — может быть затруднён из-за ограничений, связанных с блокировкой VPN. Использование VPN позволяет разработчикам обходить ограничения, введённые рядом зарубежных сервисов в отношении российских пользователей и компаний.

Как отметили в ассоциации «Руссофт», попытки блокировать отдельные протоколы, используемые для создания виртуальных частных сетей и защищённого доступа к ресурсам, нарушают нормальную работу сети и создают проблемы для добросовестных пользователей.

С действиями регулятора участники рынка также связывают сложности с доступом к отдельным ресурсам. Так, накануне оказался недоступен PyPI — крупнейший репозиторий пакетов для Python. Спустя несколько часов Роскомнадзор заявил о своей непричастности к возникшим проблемам.

«Фактически речь идёт обо всей инфраструктуре, которая обеспечивает современный цикл разработки и тесно интегрирована с глобальными сервисами», — прокомментировал руководитель отдела администрирования и DevOps ГК Softline Александр Дёмин.

По словам ИТ-директора ГК «КОРУС Консалтинг» Максима Копова, разработчики столкнулись с двойными ограничениями: с одной стороны — с блокировками внутри страны, с другой — с ограничениями для российских пользователей и компаний со стороны зарубежных сервисов. В результате усложнились процессы сборки, обновления и сопровождения программного обеспечения.

«Системный характер сбои приобрели с февраля—марта. Это совпало с несколькими волнами ограничений популярных VPN-сервисов, когда стало очевидно, что корпоративные туннели попадают под блокировки по тем же критериям, что и пользовательские», — отметил ведущий специалист отдела исследовательских разработок компании «Стахановец» Алексей Миронов.

Кроме того, как подчеркнул генеральный директор Postgres Professional Иван Панченко, VPN широко используются для организации удалённого доступа сотрудников. Отказ от этой технологии может привести к дополнительным рискам информационной безопасности.

В Роскомнадзоре сообщили изданию, что доступ к зарубежным ресурсам с использованием необходимых российским организациям VPN-протоколов предоставляется по заявкам. По данным ведомства, в перечень исключений уже включены более 57 тыс. адресов и подсетей 1,7 тыс. организаций, в том числе компаний-разработчиков.

RSS: Новости на портале Anti-Malware.ru