Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Команда Microsoft AI Red Team (AIRT) подытожила свой опыт тестирования 100 продуктов, созданных в компании на основе генеративного ИИ, и пришла к выводу, что обеспечение безопасности таких систем — нескончаемый процесс.

Из-за фундаментальных ограничений ИИ-моделей угрозы вроде инъекции стимула и джейлбрейка в этой сфере неистребимы.

Однако такие атаки можно сделать более затратными — как и в случае с другими ИТ-рисками, которые удается снизить, применяя, к примеру, тактику эшелонированной защиты (defense-in-depth) или следуя принципам конструктивной безопасности (security-by-design).

Делясь опытом, в Red Team также отметили (PDF), что для выстраивания защиты ИИ-системы важно понимать ее возможности и учитывать сферу применения. Так, большие языковые модели (БЯМ, LLM) склонны слепо следовать инструкциям пользователя, и их легко обмануть, спрятав вредоносный контент в большом объеме безобидного текста при вводе.

Также атака на ИИ-помощника по литературному творчеству вряд ли приведет к серьезным последствиям, а в случае с LLM, предназначенной для анализа историй болезни, может нанести вред здоровью пациентов и поставить крест на репутации медучреждения.

Чтобы заставить LLM выдать вредный совет, необязательно проводить градиентные состязательные атаки. Тот же эффект можно получить более дешевым способом, манипулируя интерфейсом либо введя в заблуждение модель языка и технического зрения.

 

Еще одно важное наблюдение, которым поделились специалисты: использование ИИ увеличивает существующие риски и создает новые.

Напомним, вопросы использования ИИ недавно обсуждались в ходе Открытой конференции Института системного программирования РАН им. В. П. Иванникова. Участники пленарной дискуссии сошлись во мнении, что внедрение ИИ-технологий тормозят проблемы доверия и безопасности таких сервисов.

Die Welt: Запад тайно атакует Россию и Иран в киберпространстве

Запад, похоже, уже давно воюет в киберпространстве не только в обороне, но и в атаке. По данным немецкой газеты Die Welt, страны Запада перешли к проактивной киберстратегии, нацеленной на критическую инфраструктуру России и Ирана.

Как утверждает издание, речь идёт не о громких публичных операциях, а о тихих и незаметных кибератаках — в том числе о скрытом заражении компьютеров вредоносными программами.

Цель таких действий — разведка, сдерживание и потенциальное выведение из строя ключевых цифровых компонентов инфраструктуры.

Особую роль, по данным Die Welt, играет Эстония. Именно там расположен главный европейский хаб по анализу данных, киберзащите и «контркомпьютерным мерам». В Таллине, всего в десяти минутах от офиса премьер-министра, находится NATO Cooperative Cyber Defence Centre of Excellence (CCDCOE) — исследовательский центр НАТО по киберобороне.

Место выглядит соответствующе: колючая проволока, камеры наблюдения, усиленная охрана — сразу понятно, что объект военный.

По информации газеты, в центре НАТО работают около 70 специалистов, включая военнослужащих Бундесвера. Их задачи включают:

  • выявление и анализ кибератак;
  • консультации для стран — членов НАТО;
  • разработку и реализацию ответных мер, включая наступательные сценарии.

Иными словами, речь идёт не только о защите сетей, но и о подготовке активных киберопераций.

Die Welt прямо называет происходящее «невидимой войной» — конфликтом без танков и ракет, но с вредоносами, эксплойтами и закладками в инфраструктуре. По версии издания, западные государства уже давно считают киберпространство полноценным полем боя и действуют там соответствующим образом.

Официально такие операции, разумеется, не подтверждаются. Но публикация в Die Welt даёт редкий взгляд на то, как сегодня может выглядеть реальная киберконфронтация между государствами — тихая, скрытая и крайне далёкая от публичных заявлений о «чисто оборонительной» политике.

RSS: Новости на портале Anti-Malware.ru