Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Команда Microsoft AI Red Team (AIRT) подытожила свой опыт тестирования 100 продуктов, созданных в компании на основе генеративного ИИ, и пришла к выводу, что обеспечение безопасности таких систем — нескончаемый процесс.

Из-за фундаментальных ограничений ИИ-моделей угрозы вроде инъекции стимула и джейлбрейка в этой сфере неистребимы.

Однако такие атаки можно сделать более затратными — как и в случае с другими ИТ-рисками, которые удается снизить, применяя, к примеру, тактику эшелонированной защиты (defense-in-depth) или следуя принципам конструктивной безопасности (security-by-design).

Делясь опытом, в Red Team также отметили (PDF), что для выстраивания защиты ИИ-системы важно понимать ее возможности и учитывать сферу применения. Так, большие языковые модели (БЯМ, LLM) склонны слепо следовать инструкциям пользователя, и их легко обмануть, спрятав вредоносный контент в большом объеме безобидного текста при вводе.

Также атака на ИИ-помощника по литературному творчеству вряд ли приведет к серьезным последствиям, а в случае с LLM, предназначенной для анализа историй болезни, может нанести вред здоровью пациентов и поставить крест на репутации медучреждения.

Чтобы заставить LLM выдать вредный совет, необязательно проводить градиентные состязательные атаки. Тот же эффект можно получить более дешевым способом, манипулируя интерфейсом либо введя в заблуждение модель языка и технического зрения.

 

Еще одно важное наблюдение, которым поделились специалисты: использование ИИ увеличивает существующие риски и создает новые.

Напомним, вопросы использования ИИ недавно обсуждались в ходе Открытой конференции Института системного программирования РАН им. В. П. Иванникова. Участники пленарной дискуссии сошлись во мнении, что внедрение ИИ-технологий тормозят проблемы доверия и безопасности таких сервисов.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

iOS 26 и macOS Tahoe: Apple закрыла более 50 уязвимостей

Apple выпустила мажорные обновления для своих ОС — iOS, iPadOS и macOS — с исправлениями более чем 50 уязвимостей. Если коротко: пора обновляться, особенно если вам важна безопасность устройств и данных. В iOS 26 и iPadOS 26 закрыли 27 уязвимостей.

Среди них есть баги, которые могли приводить к повреждению памяти, утечкам данных, падениям процессов и даже выходу за пределы песочницы.

Больше всего патчей получил WebKit — пять багов, которые теоретически могли привести к падению браузера или к тому, что сайт получит доступ к датчикам без согласия пользователя.

Помимо WebKit, патчи затронули движок Apple Neural, Bluetooth, CoreAudio, CoreMedia, ядро (Kernel), Safari, Sandbox, Siri, системные компоненты и ещё множество модулей.

macOS Tahoe 26 получила обновления с заплатками для 38 уязвимостей; 11 из этих CVE также исправлены в iOS / iPadOS 26. В macOS наибольшее количество патчей ушло в WebKit, AppleMobileFileIntegrity и SharedFileList (по четыре исправления), а также в Bluetooth и Sandbox (по три).

В целом обновления для macOS охватили и такие компоненты, как AppKit, FaceTime, Spotlight, драйвер GPU и другие системные службы.

Кроме главных релизов, Apple выпустила и ряд дополнительных апдейтов: iOS 18.7 и iPadOS 18.7 с патчами для двенадцати уязвимостей, а также «поддерживающие» заплатки для старых веток — iOS 16.7.12, iPadOS 16.7.12, iOS 15.8.5 и iPadOS 15.8.5.

В этих релизах, в частности, закрыт баг ImageIO с идентификатором CVE-2025-43300 — уязвимость, которая уже использовалась в реальных атаках против пользователей WhatsApp (принадлежит Meta, признанной экстремистской и запрещенной в РФ); первые патчи по этой проблеме Apple выпустила ещё 20 августа.

Апдейты вышли и для macOS Sequoia 15.7, macOS Sonoma 14.8, а также для tvOS 26, watchOS 26 и visionOS 26 — у всех этих платформ по два десятка патчей в каждой. Отдельно вышел Safari 26 (семь исправлений) и Xcode 26 (пять патчей).

Известно лишь об одном активно эксплойте — для CVE-2025-43300. Тем не менее лучшая практика остаётся прежней: установите обновления как можно скорее. Дополнительные подробности можно посмотреть в официальных заметках Apple.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru