Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Команда Microsoft AI Red Team (AIRT) подытожила свой опыт тестирования 100 продуктов, созданных в компании на основе генеративного ИИ, и пришла к выводу, что обеспечение безопасности таких систем — нескончаемый процесс.

Из-за фундаментальных ограничений ИИ-моделей угрозы вроде инъекции стимула и джейлбрейка в этой сфере неистребимы.

Однако такие атаки можно сделать более затратными — как и в случае с другими ИТ-рисками, которые удается снизить, применяя, к примеру, тактику эшелонированной защиты (defense-in-depth) или следуя принципам конструктивной безопасности (security-by-design).

Делясь опытом, в Red Team также отметили (PDF), что для выстраивания защиты ИИ-системы важно понимать ее возможности и учитывать сферу применения. Так, большие языковые модели (БЯМ, LLM) склонны слепо следовать инструкциям пользователя, и их легко обмануть, спрятав вредоносный контент в большом объеме безобидного текста при вводе.

Также атака на ИИ-помощника по литературному творчеству вряд ли приведет к серьезным последствиям, а в случае с LLM, предназначенной для анализа историй болезни, может нанести вред здоровью пациентов и поставить крест на репутации медучреждения.

Чтобы заставить LLM выдать вредный совет, необязательно проводить градиентные состязательные атаки. Тот же эффект можно получить более дешевым способом, манипулируя интерфейсом либо введя в заблуждение модель языка и технического зрения.

 

Еще одно важное наблюдение, которым поделились специалисты: использование ИИ увеличивает существующие риски и создает новые.

Напомним, вопросы использования ИИ недавно обсуждались в ходе Открытой конференции Института системного программирования РАН им. В. П. Иванникова. Участники пленарной дискуссии сошлись во мнении, что внедрение ИИ-технологий тормозят проблемы доверия и безопасности таких сервисов.

Windows 11 заставит ИИ спрашивать доступ к личным файлам пользователя

Microsoft наконец прояснила, как именно ИИ-агенты в Windows 11 будут работать с личными файлами пользователей. Главное — доступ к документам, рабочему столу и загрузкам без согласия пользователя им не дадут. Речь идёт о шести директориях Windows: Рабочие стол, Документы, Загрузки, Музыка, Изображения и Видео.

Как подтвердили в Microsoft, ИИ по умолчанию не имеет доступа к этом папкам и обязан запросить разрешение у пользователя.

Более того, права можно настраивать отдельно для каждого агента — будь то Copilot, Researcher или Analyst.

Разъяснения появились после волны вопросов и критики вокруг активного продвижения ИИ-агентов в Windows. В последние недели Microsoft активно готовит «агентные» сценарии — ИИ, которые могут работать с файлами, приложениями и настройками системы. При этом сама компания признаёт, что ИИ-модели могут ошибаться, галлюцинировать и создавать новые риски для безопасности.

Как отметили в Windows Latest, 5 декабря Microsoft обновила документацию по тестовым функциям для инсайдерских сборок Windows 11 (начиная со сборки 26100.7344). В ней прямо сказано: ИИ-агенты — опциональная функция, и даже после её включения доступ к файлам без явного согласия пользователя невозможен.

Как это будет работать на практике? Если агенту понадобится доступ к личным папкам, Windows покажет всплывающее окно с выбором:

  • разрешить всегда;
  • спрашивать каждый раз;
  • не разрешать вовсе.

 

Причём права задаются на уровне агента, а не всей системы. Правда, есть нюанс: выбрать отдельные папки нельзя — разрешение даётся сразу на все шесть или ни на одну.

Для управления всем этим в Windows 11 появится отдельный раздел настроек. Зайти в него можно через Настройки → Система → ИИ-компоненты → Агенты, где для каждого ИИ-агента доступны настройки доступа к файлам и так называемым Agent Connectors. Последние работают через протокол MCP (Model Context Protocol) и позволяют ИИ взаимодействовать, например, с Проводником или системными настройками — тоже строго по разрешению пользователя.

При этом Microsoft уточняет важный момент: учётные записи ИИ имеют доступ к тем папкам, которые открыты для всех аутентифицированных пользователей. А вот директории, доступные только конкретному пользователю, останутся закрытыми, если пользователь явно не разрешит доступ через соответствующее диалоговое окно.

Все эти механизмы пока доступны только в предварительных сборках Windows 11 24H2 и 25H2. Когда именно они появятся в стабильных версиях — Microsoft не уточняет. Как и не отвечает на другой неудобный вопрос: когда ИИ перестанет галлюцинировать и создавать новые классы уязвимостей вроде инъекции в промпты.

RSS: Новости на портале Anti-Malware.ru