Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Команда Microsoft AI Red Team (AIRT) подытожила свой опыт тестирования 100 продуктов, созданных в компании на основе генеративного ИИ, и пришла к выводу, что обеспечение безопасности таких систем — нескончаемый процесс.

Из-за фундаментальных ограничений ИИ-моделей угрозы вроде инъекции стимула и джейлбрейка в этой сфере неистребимы.

Однако такие атаки можно сделать более затратными — как и в случае с другими ИТ-рисками, которые удается снизить, применяя, к примеру, тактику эшелонированной защиты (defense-in-depth) или следуя принципам конструктивной безопасности (security-by-design).

Делясь опытом, в Red Team также отметили (PDF), что для выстраивания защиты ИИ-системы важно понимать ее возможности и учитывать сферу применения. Так, большие языковые модели (БЯМ, LLM) склонны слепо следовать инструкциям пользователя, и их легко обмануть, спрятав вредоносный контент в большом объеме безобидного текста при вводе.

Также атака на ИИ-помощника по литературному творчеству вряд ли приведет к серьезным последствиям, а в случае с LLM, предназначенной для анализа историй болезни, может нанести вред здоровью пациентов и поставить крест на репутации медучреждения.

Чтобы заставить LLM выдать вредный совет, необязательно проводить градиентные состязательные атаки. Тот же эффект можно получить более дешевым способом, манипулируя интерфейсом либо введя в заблуждение модель языка и технического зрения.

 

Еще одно важное наблюдение, которым поделились специалисты: использование ИИ увеличивает существующие риски и создает новые.

Напомним, вопросы использования ИИ недавно обсуждались в ходе Открытой конференции Института системного программирования РАН им. В. П. Иванникова. Участники пленарной дискуссии сошлись во мнении, что внедрение ИИ-технологий тормозят проблемы доверия и безопасности таких сервисов.

WhisperPair: Bluetooth-наушники можно взломать и подслушивать людей

Исследователи обнаружили критическую уязвимость в протоколе Google Fast Pair, которая позволяет злоумышленникам перехватывать управление Bluetooth-аудиоустройствами, подслушивать разговоры и даже отслеживать перемещения пользователей. Проблема получила идентификатор CVE-2025-36911 и название WhisperPair, она затрагивает сотни миллионов наушников, гарнитур и колонок по всему миру.

Уязвимость нашли специалисты из группы Computer Security and Industrial Cryptography при Католическом университете Лёвена (KU Leuven).

По их словам, проблема кроется не в смартфонах, а в самих аксессуарах, поддерживающих Fast Pair. Это означает, что под угрозой находятся не только владельцы Android-устройств, но и владельцы iPhone, если они используют уязвимые Bluetooth-наушники или колонки.

Суть проблемы довольно неприятная. По спецификации Fast Pair, аксессуар должен игнорировать запросы на сопряжение, если он не находится в режиме создания пары. Но на практике многие производители этот механизм попросту не реализовали. В результате любой посторонний девайс может начать процесс сопряжения без ведома пользователя — и успешно его завершить.

Как объясняют исследователи, злоумышленнику достаточно отправить аксессуару запрос Fast Pair. Если устройство отвечает, дальше можно оформить обычное Bluetooth-подключение — и всё это происходит без подтверждений, уведомлений и физического доступа к целевому пользователю.

Атаку можно провести с помощью практически любого Bluetooth-устройства — ноутбука, смартфона или даже Raspberry Pi — на расстоянии до 14 метров. Под удар попали аксессуары от Google, Jabra, JBL, Logitech, Marshall, Nothing, OnePlus, Sony, Soundcore, Xiaomi и других брендов.

После успешного подключения атакующий получает полный контроль над аудиоустройством. В худшем случае это позволяет подслушивать разговоры через микрофон наушников, а в более безобидном — внезапно включать звук на максимальной громкости.

Но и это ещё не всё. WhisperPair также позволяет использовать Google Find Hub для слежки за жертвой — если аксессуар ни разу не был сопряжён с Android-устройством. В таком случае злоумышленник может добавить его в свой Google-аккаунт и отслеживать перемещения владельца. Причём предупреждение о трекинге пользователь увидит лишь спустя часы или даже дни. Что особенно коварно, уведомление будет выглядеть так, будто устройство отслеживает сам владелец, из-за чего многие просто игнорируют его как баг.

 

 

Google признала проблему, выплатила исследователям $15 000 — максимальное вознаграждение по программе баг-баунти и совместно с производителями начала выпуск патчей. Однако, как подчёркивают исследователи, фиксы доступны пока не для всех уязвимых устройств.

Важно и то, что отключение Fast Pair на Android-смартфоне не защищает от атаки — протокол невозможно отключить на самих аксессуарах. Единственный надёжный способ защиты сейчас — установить обновление прошивки от производителя, если оно уже выпущено.

RSS: Новости на портале Anti-Malware.ru