Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Команда Microsoft AI Red Team (AIRT) подытожила свой опыт тестирования 100 продуктов, созданных в компании на основе генеративного ИИ, и пришла к выводу, что обеспечение безопасности таких систем — нескончаемый процесс.

Из-за фундаментальных ограничений ИИ-моделей угрозы вроде инъекции стимула и джейлбрейка в этой сфере неистребимы.

Однако такие атаки можно сделать более затратными — как и в случае с другими ИТ-рисками, которые удается снизить, применяя, к примеру, тактику эшелонированной защиты (defense-in-depth) или следуя принципам конструктивной безопасности (security-by-design).

Делясь опытом, в Red Team также отметили (PDF), что для выстраивания защиты ИИ-системы важно понимать ее возможности и учитывать сферу применения. Так, большие языковые модели (БЯМ, LLM) склонны слепо следовать инструкциям пользователя, и их легко обмануть, спрятав вредоносный контент в большом объеме безобидного текста при вводе.

Также атака на ИИ-помощника по литературному творчеству вряд ли приведет к серьезным последствиям, а в случае с LLM, предназначенной для анализа историй болезни, может нанести вред здоровью пациентов и поставить крест на репутации медучреждения.

Чтобы заставить LLM выдать вредный совет, необязательно проводить градиентные состязательные атаки. Тот же эффект можно получить более дешевым способом, манипулируя интерфейсом либо введя в заблуждение модель языка и технического зрения.

 

Еще одно важное наблюдение, которым поделились специалисты: использование ИИ увеличивает существующие риски и создает новые.

Напомним, вопросы использования ИИ недавно обсуждались в ходе Открытой конференции Института системного программирования РАН им. В. П. Иванникова. Участники пленарной дискуссии сошлись во мнении, что внедрение ИИ-технологий тормозят проблемы доверия и безопасности таких сервисов.

Подпишитесь на новости

Gemini против аферистов: Android научат распознавать сложные схемы обмана

Фальшивый банк пишет, родственник звонит чужим голосом, а собеседник просит включить демонстрацию экрана. Google представила новые средства защиты Android от мобильного мошенничества: анализ подозрительных переписок, проверку ссылок и ограничения на переадресацию звонков.

Как сообщила Google, в ближайшие недели в Google Messages начнёт появляться добровольно включаемый режим усиленной защиты.

Он подключает облачные модели Gemini к анализу сложных разговоров с неизвестными отправителями — например, когда мошенник сначала долго втирается в доверие и лишь потом переходит к деньгам.

По словам корпорации, обработка проходит в зашифрованной среде Private AI Compute, где содержимое недоступно даже самой Google. На поддерживаемых устройствах локальная Gemini Nano также поможет проверять незнакомые ссылки с учётом актуальных веб-сигналов.

Отдельное обновление касается демонстрации экрана: Android будет скрывать поля входа и платёжные экраны в Chrome и Android WebView. Эту функцию распространяют в октябре на устройства с Android 15 и новее.

С начала декабря на Pixel и отдельных других устройствах появится защита от переадресации: приложениям запретят незаметно включать её в фоне, а перед применением вручную набранного MMI-кода пользователь получит предупреждение.


Google также расширяет проверку банковских звонков совместно с банками-партнёрами. Если звонящий выдаёт себя за банк, но проверка это не подтверждает, соединение завершается.


Набор функций зависит от устройства и региона. Поэтому обещать каждому Android-смартфону личного ИИ-телохранителя уже сегодня рано. Но мошенникам явно готовят дополнительные сложности.

RSS: Новости на портале Anti-Malware.ru