Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Команда Microsoft AI Red Team (AIRT) подытожила свой опыт тестирования 100 продуктов, созданных в компании на основе генеративного ИИ, и пришла к выводу, что обеспечение безопасности таких систем — нескончаемый процесс.

Из-за фундаментальных ограничений ИИ-моделей угрозы вроде инъекции стимула и джейлбрейка в этой сфере неистребимы.

Однако такие атаки можно сделать более затратными — как и в случае с другими ИТ-рисками, которые удается снизить, применяя, к примеру, тактику эшелонированной защиты (defense-in-depth) или следуя принципам конструктивной безопасности (security-by-design).

Делясь опытом, в Red Team также отметили (PDF), что для выстраивания защиты ИИ-системы важно понимать ее возможности и учитывать сферу применения. Так, большие языковые модели (БЯМ, LLM) склонны слепо следовать инструкциям пользователя, и их легко обмануть, спрятав вредоносный контент в большом объеме безобидного текста при вводе.

Также атака на ИИ-помощника по литературному творчеству вряд ли приведет к серьезным последствиям, а в случае с LLM, предназначенной для анализа историй болезни, может нанести вред здоровью пациентов и поставить крест на репутации медучреждения.

Чтобы заставить LLM выдать вредный совет, необязательно проводить градиентные состязательные атаки. Тот же эффект можно получить более дешевым способом, манипулируя интерфейсом либо введя в заблуждение модель языка и технического зрения.

 

Еще одно важное наблюдение, которым поделились специалисты: использование ИИ увеличивает существующие риски и создает новые.

Напомним, вопросы использования ИИ недавно обсуждались в ходе Открытой конференции Института системного программирования РАН им. В. П. Иванникова. Участники пленарной дискуссии сошлись во мнении, что внедрение ИИ-технологий тормозят проблемы доверия и безопасности таких сервисов.

DragonDoll залезает в переписки любителей Android под видом апдейта Chrome

Пользователи Android более чем из 26 стран, включая Россию, подверглись атакам нового шпионского софта DragonDoll. Зловред маскируется под обновление Google Chrome, а после установки получает почти полный контроль над Android-смартфоном, сообщили эксперты Positive Technologies.

DragonDoll обнаружили весной 2026 года при анализе атаки на пользователей из Саудовской Аравии. За два месяца специалисты Positive Technologies зафиксировали около 150 образцов шпионской программы.

Сценарий заражения начинается с поддельного сайта, оформленного под официальную страницу Chrome. Посетителю предлагают срочно обновить браузер, но вместо апдейта он загружает опасное приложение.

После запуска DragonDoll запрашивает разрешения службы специальных возможностей и в несколько этапов устанавливает защищённый от анализа шпионский модуль. Он позволяет удалённо включать и выключать экран, отслеживать нажатия, делать снимки экрана, читать уведомления и наблюдать за действиями пользователя.

Зловред также накладывает поддельные окна поверх настоящих приложений. Такие оверлеи перехватывают вводимые пароли и ПИН-коды, пока жертва уверена, что работает с легитимным интерфейсом.

DragonDoll способен собирать списки контактов и чатов Telegram и WhatsApp (принадлежит корпорации Meta, признанной экстремисткой и запрещённой в России), считывать текст и время сообщений прямо с экрана, а также перехватывать всплывающие уведомления Telegram. Содержимое других приложений, включая Viber, шпион копирует из видимой области дисплея.

Собранные сведения шифруются и отправляются на управляющий сервер, размещённый на российском хостинге. Пользователям рекомендуется обновлять Chrome только через Google Play, не устанавливать APK-файлы с незнакомых сайтов и не выдавать специальным возможностям права по первому требованию. Если браузер просит обновиться на случайной странице, обновлять пора не Chrome, а отношение к таким предложениям.

RSS: Новости на портале Anti-Malware.ru