Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Команда Microsoft AI Red Team (AIRT) подытожила свой опыт тестирования 100 продуктов, созданных в компании на основе генеративного ИИ, и пришла к выводу, что обеспечение безопасности таких систем — нескончаемый процесс.

Из-за фундаментальных ограничений ИИ-моделей угрозы вроде инъекции стимула и джейлбрейка в этой сфере неистребимы.

Однако такие атаки можно сделать более затратными — как и в случае с другими ИТ-рисками, которые удается снизить, применяя, к примеру, тактику эшелонированной защиты (defense-in-depth) или следуя принципам конструктивной безопасности (security-by-design).

Делясь опытом, в Red Team также отметили (PDF), что для выстраивания защиты ИИ-системы важно понимать ее возможности и учитывать сферу применения. Так, большие языковые модели (БЯМ, LLM) склонны слепо следовать инструкциям пользователя, и их легко обмануть, спрятав вредоносный контент в большом объеме безобидного текста при вводе.

Также атака на ИИ-помощника по литературному творчеству вряд ли приведет к серьезным последствиям, а в случае с LLM, предназначенной для анализа историй болезни, может нанести вред здоровью пациентов и поставить крест на репутации медучреждения.

Чтобы заставить LLM выдать вредный совет, необязательно проводить градиентные состязательные атаки. Тот же эффект можно получить более дешевым способом, манипулируя интерфейсом либо введя в заблуждение модель языка и технического зрения.

 

Еще одно важное наблюдение, которым поделились специалисты: использование ИИ увеличивает существующие риски и создает новые.

Напомним, вопросы использования ИИ недавно обсуждались в ходе Открытой конференции Института системного программирования РАН им. В. П. Иванникова. Участники пленарной дискуссии сошлись во мнении, что внедрение ИИ-технологий тормозят проблемы доверия и безопасности таких сервисов.

31% киберинцидентов в 2025 году пришёлся на ретейл

По итогам 2025 года на розничную торговлю пришлось почти треть (31%) кибератак с наиболее высоким уровнем ущерба, при которых инфраструктура компаний оказывалась полностью уничтоженной. Кроме того, на ретейл пришлось около 40% всех инцидентов, связанных с утечками данных.

Такие данные приводят специалисты BI.ZONE. Как отметил руководитель управления по борьбе с киберугрозами Михаил Прохоренко, при атаках всё чаще используются вайперы — вредоносные программы, предназначенные для уничтожения данных и полного вывода из строя сетевого оборудования. Вероятно, по такому сценарию в июле был атакован дискаунтер «Доброцен».

По оценке BI.ZONE, около 40% всех эпизодов утечек данных также пришлось на розничную торговлю. Основными причинами эксперты называют устаревшую ИТ-инфраструктуру и недостаточное сегментирование сетей.

Второе место по числу обращений за расследованием киберинцидентов заняла ИТ-отрасль — 26%. При этом злоумышленники всё чаще выбирают целями небольшие ИТ-компании, используя их в качестве точки входа в инфраструктуру более крупных организаций, для которых они выступают подрядчиками. В 2025 году атаки на цепочки поставок вошли в число наиболее распространённых угроз для бизнеса.

Третье место разделили компании из сфер телекоммуникаций, транспорта и государственного сектора — по 11% инцидентов на каждую отрасль.

В BI.ZONE также отмечают значительный рост времени скрытого присутствия злоумышленников в инфраструктуре жертв. Если в 2024 году этот показатель составлял в среднем 25 дней, то в 2025-м он вырос до 42 дней. При этом минимальное время от первоначального проникновения до начала атаки составило всего 12 минут, а максимальное — почти полгода.

На восстановление работоспособности критически важных систем и возобновление базовых бизнес-процессов компаниям в среднем требовалось около трёх дней. Полное восстановление инфраструктуры и бизнес-процессов занимало порядка двух недель.

RSS: Новости на портале Anti-Malware.ru