Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Команда Microsoft AI Red Team (AIRT) подытожила свой опыт тестирования 100 продуктов, созданных в компании на основе генеративного ИИ, и пришла к выводу, что обеспечение безопасности таких систем — нескончаемый процесс.

Из-за фундаментальных ограничений ИИ-моделей угрозы вроде инъекции стимула и джейлбрейка в этой сфере неистребимы.

Однако такие атаки можно сделать более затратными — как и в случае с другими ИТ-рисками, которые удается снизить, применяя, к примеру, тактику эшелонированной защиты (defense-in-depth) или следуя принципам конструктивной безопасности (security-by-design).

Делясь опытом, в Red Team также отметили (PDF), что для выстраивания защиты ИИ-системы важно понимать ее возможности и учитывать сферу применения. Так, большие языковые модели (БЯМ, LLM) склонны слепо следовать инструкциям пользователя, и их легко обмануть, спрятав вредоносный контент в большом объеме безобидного текста при вводе.

Также атака на ИИ-помощника по литературному творчеству вряд ли приведет к серьезным последствиям, а в случае с LLM, предназначенной для анализа историй болезни, может нанести вред здоровью пациентов и поставить крест на репутации медучреждения.

Чтобы заставить LLM выдать вредный совет, необязательно проводить градиентные состязательные атаки. Тот же эффект можно получить более дешевым способом, манипулируя интерфейсом либо введя в заблуждение модель языка и технического зрения.

 

Еще одно важное наблюдение, которым поделились специалисты: использование ИИ увеличивает существующие риски и создает новые.

Напомним, вопросы использования ИИ недавно обсуждались в ходе Открытой конференции Института системного программирования РАН им. В. П. Иванникова. Участники пленарной дискуссии сошлись во мнении, что внедрение ИИ-технологий тормозят проблемы доверия и безопасности таких сервисов.

Подпишитесь на новости

Avanpost вывела Identity Cloud на рынок, первым партнёром стал CURATOR

Защита корпоративного входа переезжает в облако. Avanpost запустила коммерческую эксплуатацию Identity Cloud — сервиса многофакторной аутентификации и единого входа для сотрудников и подрядчиков. Первым партнёром, развернувшим платформу у себя, стал CURATOR: он предлагает её под брендом CURATOR.IDENTITY.

Avanpost Identity Cloud позволяет подключать защиту доступа по подписке, без отдельного тяжёлого проекта по развёртыванию ядра IAM.

После тестирования с июня по октябрь сервис выходит на рынок со стоимостью от 168 рублей за пользователя в месяц.

Тарифы есть под разные задачи. Start предназначен для базовой защиты VPN и веб-приложений: второй фактор и единый вход. Expert добавляет контекстную аутентификацию, оценку риска, правила для групп и аварийный вход. E-passport ориентирован на бесшовный доступ между разными типами приложений и криптографическую защиту сессий.

 

Zero Trust предполагает проверку устройств и непрерывную оценку доверия; на сайте этот тариф пока отмечен как предстоящий. Часть возможностей старших пакетов тоже появится позднее.

Рыночный контекст показательный: за рубежом облачная идентификация давно стала самостоятельным сегментом. В России направление пока заметно скромнее — но говорить, что до запуска его вообще не существовало, было бы перебором.

Для каждого клиента предусмотрен отдельный контур с собственной базой данных. Внутренние системы подключаются через Access Bridge: инфраструктурные секреты остаются у заказчика, а офлайн-аутентификация предусмотрена на случай потери связи с облаком.

Партнёрам доступны две модели: перепродавать сервис Avanpost либо развернуть платформу в своей инфраструктуре и продавать под собственным брендом, как сделал CURATOR.

RSS: Новости на портале Anti-Malware.ru