Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Команда Microsoft AI Red Team (AIRT) подытожила свой опыт тестирования 100 продуктов, созданных в компании на основе генеративного ИИ, и пришла к выводу, что обеспечение безопасности таких систем — нескончаемый процесс.

Из-за фундаментальных ограничений ИИ-моделей угрозы вроде инъекции стимула и джейлбрейка в этой сфере неистребимы.

Однако такие атаки можно сделать более затратными — как и в случае с другими ИТ-рисками, которые удается снизить, применяя, к примеру, тактику эшелонированной защиты (defense-in-depth) или следуя принципам конструктивной безопасности (security-by-design).

Делясь опытом, в Red Team также отметили (PDF), что для выстраивания защиты ИИ-системы важно понимать ее возможности и учитывать сферу применения. Так, большие языковые модели (БЯМ, LLM) склонны слепо следовать инструкциям пользователя, и их легко обмануть, спрятав вредоносный контент в большом объеме безобидного текста при вводе.

Также атака на ИИ-помощника по литературному творчеству вряд ли приведет к серьезным последствиям, а в случае с LLM, предназначенной для анализа историй болезни, может нанести вред здоровью пациентов и поставить крест на репутации медучреждения.

Чтобы заставить LLM выдать вредный совет, необязательно проводить градиентные состязательные атаки. Тот же эффект можно получить более дешевым способом, манипулируя интерфейсом либо введя в заблуждение модель языка и технического зрения.

 

Еще одно важное наблюдение, которым поделились специалисты: использование ИИ увеличивает существующие риски и создает новые.

Напомним, вопросы использования ИИ недавно обсуждались в ходе Открытой конференции Института системного программирования РАН им. В. П. Иванникова. Участники пленарной дискуссии сошлись во мнении, что внедрение ИИ-технологий тормозят проблемы доверия и безопасности таких сервисов.

В Android закрыли опасную дыру в аудио: атака была возможна без действий

Google выпустила первые в этом году патчи для Android, и они получились на удивление лаконичными: заплатка закрывает всего одну уязвимость, зато какую. Речь идёт о критической дыре в аудиодекодере Dolby, которая теоретически позволяет атаковать устройство без какого-либо участия пользователя.

Уязвимость проходит под идентификатором CVE-2025-54957 и затрагивает Dolby Digital Plus (DD+) Unified Decoder — компонент, который используется на огромном количестве устройств.

Изначально проблему описывали как возможность записи за пределами границ со средней степенью риска, но со временем всё стало куда серьёзнее.

Ошибку обнаружили специалисты Google ещё в июне 2025 года и сообщили о ней Dolby. Патч со стороны Dolby вышел в сентябре (PDF), а в октябре уязвимость попала в заголовки — после того как Google опубликовала технические детали, а Microsoft закрыла дыру в Windows.

В «базовом» сценарии проблема приводит к сбою или перезагрузке устройства. Исследователи показали работу эксплойта на самых разных платформах — от Pixel 9 и Samsung Galaxy S24 до MacBook Air на M1 и даже iPhone 17 Pro. Но для Android всё оказалось куда опаснее.

Как выяснилось, на Android всё это превращается в zero-click RCE — удалённое выполнение кода без участия целевого пользователя. Причина в том, что голосовые сообщения и аудиовложения в Android декодируются локально. Достаточно специально подготовленного аудиофайла.

«На Android аудиовложения обрабатываются на устройстве, поэтому эксплуатация возможна без участия пользователя», — пояснил Адам Бойнтон, исследователь из Jamf.

Именно поэтому Google присвоила уязвимости критический уровень опасности именно в случае с Android.

Для смартфонов Pixel патч был выпущен ещё в декабрьском обновлении 2025 года. Теперь же обновление стало доступно для всей экосистемы Android.

Любопытно, что на этом всё: в январе не вышло ни одного дополнительного патча — ни для Pixel, ни для Android Automotive OS, ни для Wear OS. Весь апдейт посвящён ровно одной, но действительно неприятной дыре.

RSS: Новости на портале Anti-Malware.ru