Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Команда Microsoft AI Red Team (AIRT) подытожила свой опыт тестирования 100 продуктов, созданных в компании на основе генеративного ИИ, и пришла к выводу, что обеспечение безопасности таких систем — нескончаемый процесс.

Из-за фундаментальных ограничений ИИ-моделей угрозы вроде инъекции стимула и джейлбрейка в этой сфере неистребимы.

Однако такие атаки можно сделать более затратными — как и в случае с другими ИТ-рисками, которые удается снизить, применяя, к примеру, тактику эшелонированной защиты (defense-in-depth) или следуя принципам конструктивной безопасности (security-by-design).

Делясь опытом, в Red Team также отметили (PDF), что для выстраивания защиты ИИ-системы важно понимать ее возможности и учитывать сферу применения. Так, большие языковые модели (БЯМ, LLM) склонны слепо следовать инструкциям пользователя, и их легко обмануть, спрятав вредоносный контент в большом объеме безобидного текста при вводе.

Также атака на ИИ-помощника по литературному творчеству вряд ли приведет к серьезным последствиям, а в случае с LLM, предназначенной для анализа историй болезни, может нанести вред здоровью пациентов и поставить крест на репутации медучреждения.

Чтобы заставить LLM выдать вредный совет, необязательно проводить градиентные состязательные атаки. Тот же эффект можно получить более дешевым способом, манипулируя интерфейсом либо введя в заблуждение модель языка и технического зрения.

 

Еще одно важное наблюдение, которым поделились специалисты: использование ИИ увеличивает существующие риски и создает новые.

Напомним, вопросы использования ИИ недавно обсуждались в ходе Открытой конференции Института системного программирования РАН им. В. П. Иванникова. Участники пленарной дискуссии сошлись во мнении, что внедрение ИИ-технологий тормозят проблемы доверия и безопасности таких сервисов.

Orion soft отдала всю линейку продуктов на регулярные пентесты CICADA8

Компания Orion soft, которая разрабатывает инфраструктурное ПО для Enterprise-сегмента, объявила о партнёрстве с CICADA8. По условиям соглашения эксперты CICADA8 будут на регулярной основе проводить тестирования на проникновение всех ключевых продуктов вендора.

Решение выглядит вполне логичным: атаки через уязвимости в ИТ-системах по-прежнему остаются одной из самых чувствительных угроз для бизнеса.

Поэтому Orion soft решила усилить уже существующий подход к безопасной разработке и добавить к нему ещё один постоянный уровень проверки.

В компании подчёркивают, что работа над безопасностью у них и так выстроена системно. В процесс входят практики DevSecOps, внутренние проверки компонентов и участие в программах поиска уязвимостей, включая bug bounty. Теперь к этому набору добавятся и регулярные пентесты всей продуктовой линейки.

Как пояснил директор по развитию бизнеса Orion soft Максим Березин, внутренних проверок и автоматизированного контроля уже недостаточно, когда продуктами компании пользуется большое число заказчиков. В качестве примера он привёл платформу виртуализации zVirt, которую, по его словам, используют более 700 компаний. Orion soft уже разместила это решение на платформе Standoff Bug Bounty, а теперь расширяет практику внешней оценки защищённости за счёт сотрудничества с CICADA8.

В рамках проекта специалисты CICADA8 будут регулярно анализировать защищённость продуктов zVirt, StarVault, Nova, Termit и Cloudlink. Проверки планируют проводить как по мере выхода новых релизов, так и в формате повторного анализа, чтобы отслеживать динамику изменений и понимать, как меняется уровень защищённости от версии к версии.

По итогам каждого этапа Orion soft будет получать детализированные отчёты с описанием найденных уязвимостей, возможных сценариев эксплуатации и рекомендациями по устранению проблем. Это позволит команде вендора быстрее закрывать обнаруженные недостатки и учитывать результаты тестов в дальнейшем развитии продуктов.

В CICADA8 отмечают, что классический пентест остаётся востребованным даже при наличии программы баг-баунти. По словам руководителя отдела анализа защищённости компании Алексея Хайдина, такой формат даёт более глубокое погружение в архитектуру продукта и более плотную работу с командой разработки. За счёт этого можно проверять сценарии, которые обычно не охватываются публичными программами поиска уязвимостей.

По сути, Orion soft делает ставку на многоуровневую модель безопасности: внутренние процессы, публичный поиск багов и регулярный внешний анализ защищённости. Для заказчиков это означает более предсказуемый и системный подход к безопасности инфраструктурных решений — особенно в условиях, когда требования к защите корпоративных систем становятся всё строже.

RSS: Новости на портале Anti-Malware.ru