Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Команда Microsoft AI Red Team (AIRT) подытожила свой опыт тестирования 100 продуктов, созданных в компании на основе генеративного ИИ, и пришла к выводу, что обеспечение безопасности таких систем — нескончаемый процесс.

Из-за фундаментальных ограничений ИИ-моделей угрозы вроде инъекции стимула и джейлбрейка в этой сфере неистребимы.

Однако такие атаки можно сделать более затратными — как и в случае с другими ИТ-рисками, которые удается снизить, применяя, к примеру, тактику эшелонированной защиты (defense-in-depth) или следуя принципам конструктивной безопасности (security-by-design).

Делясь опытом, в Red Team также отметили (PDF), что для выстраивания защиты ИИ-системы важно понимать ее возможности и учитывать сферу применения. Так, большие языковые модели (БЯМ, LLM) склонны слепо следовать инструкциям пользователя, и их легко обмануть, спрятав вредоносный контент в большом объеме безобидного текста при вводе.

Также атака на ИИ-помощника по литературному творчеству вряд ли приведет к серьезным последствиям, а в случае с LLM, предназначенной для анализа историй болезни, может нанести вред здоровью пациентов и поставить крест на репутации медучреждения.

Чтобы заставить LLM выдать вредный совет, необязательно проводить градиентные состязательные атаки. Тот же эффект можно получить более дешевым способом, манипулируя интерфейсом либо введя в заблуждение модель языка и технического зрения.

 

Еще одно важное наблюдение, которым поделились специалисты: использование ИИ увеличивает существующие риски и создает новые.

Напомним, вопросы использования ИИ недавно обсуждались в ходе Открытой конференции Института системного программирования РАН им. В. П. Иванникова. Участники пленарной дискуссии сошлись во мнении, что внедрение ИИ-технологий тормозят проблемы доверия и безопасности таких сервисов.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Основными целями DDoS-атак в начале 2025 года стали госсектор, банки и ТЭК

Согласно статистике сервиса Anti-DDoS платформы Solar MSS за январь–март 2025 года, основная часть атак пришлась на нефтегазовые компании, государственные структуры и банки. По традиции высокую активность злоумышленники также проявляли в отношении ИТ- и телеком-отраслей.

Особенно заметный рост атак зафиксирован в нефтегазовом секторе — как в годовом выражении, так и по сравнению с предыдущим кварталом.

В начале 2025 года специалисты ГК «Солар» зафиксировали 10,7 тыс. DDoS-атак на организации из нефтегазовой отрасли. В среднем на одну компанию пришлось 27 атак за три месяца — это на 67% больше, чем в аналогичном периоде прошлого года, и на 60% больше по сравнению с IV кварталом 2024 года. Нефтегазовый сектор вошёл в топ-5 наиболее атакуемых отраслей впервые за длительное время.

Государственные учреждения подверглись 15,5 тыс. DDoS-атак. В пересчёте на одну организацию госсектор сохранил первое место по числу атак, причём с большим отрывом.

Банковский сектор занял второе место с 18,7 тыс. атак, несмотря на снижение активности злоумышленников по сравнению с концом 2024 года. Пик атак пришёлся на март — сразу после завершения переговоров Украины и США в Саудовской Аравии.

Телеком-отрасль также оказалась в числе лидеров — зафиксировано 18,8 тыс. атак. Однако в пересчёте на одну организацию показатель оказался ниже, чем у банков.

По региональному распределению традиционно лидирует Москва — свыше 60 тыс. атак за квартал. Далее следуют:

  • Уральский федеральный округ — 12 тыс. атак,
  • Сибирский федеральный округ — 13 тыс.,
  • Приволжский федеральный округ — 14 тыс.,
  • Центральный федеральный округ — 8 тыс.
    Отдельно отмечены Северо-Западный федеральный округ (17 тыс. атак) и Южный федеральный округ (7 тыс.).

По словам Сергея Левина, руководителя направления Anti-DDoS ГК «Солар», в первом квартале 2025 года хакеры стали чаще применять тактику «осторожных» атак:

«Сначала злоумышленники пробуют прощупать защиту компании минимальными ресурсами. Если атака неудачна, они либо переходят к новой цели, либо меняют тактику — например, начинают использовать атаки уровня приложений (L7), требующие защиты средствами WAF. Если же они подозревают отсутствие эффективной защиты, может последовать мощная атака. Однако таких случаев становится всё меньше, поскольку защищённость российских организаций, в том числе в регионах, растёт».

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru