Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Команда Microsoft AI Red Team (AIRT) подытожила свой опыт тестирования 100 продуктов, созданных в компании на основе генеративного ИИ, и пришла к выводу, что обеспечение безопасности таких систем — нескончаемый процесс.

Из-за фундаментальных ограничений ИИ-моделей угрозы вроде инъекции стимула и джейлбрейка в этой сфере неистребимы.

Однако такие атаки можно сделать более затратными — как и в случае с другими ИТ-рисками, которые удается снизить, применяя, к примеру, тактику эшелонированной защиты (defense-in-depth) или следуя принципам конструктивной безопасности (security-by-design).

Делясь опытом, в Red Team также отметили (PDF), что для выстраивания защиты ИИ-системы важно понимать ее возможности и учитывать сферу применения. Так, большие языковые модели (БЯМ, LLM) склонны слепо следовать инструкциям пользователя, и их легко обмануть, спрятав вредоносный контент в большом объеме безобидного текста при вводе.

Также атака на ИИ-помощника по литературному творчеству вряд ли приведет к серьезным последствиям, а в случае с LLM, предназначенной для анализа историй болезни, может нанести вред здоровью пациентов и поставить крест на репутации медучреждения.

Чтобы заставить LLM выдать вредный совет, необязательно проводить градиентные состязательные атаки. Тот же эффект можно получить более дешевым способом, манипулируя интерфейсом либо введя в заблуждение модель языка и технического зрения.

 

Еще одно важное наблюдение, которым поделились специалисты: использование ИИ увеличивает существующие риски и создает новые.

Напомним, вопросы использования ИИ недавно обсуждались в ходе Открытой конференции Института системного программирования РАН им. В. П. Иванникова. Участники пленарной дискуссии сошлись во мнении, что внедрение ИИ-технологий тормозят проблемы доверия и безопасности таких сервисов.

Закрытый контур не спасёт: Сергей Полунин напомнил бизнесу о киберрисках

Сергей Полунин, руководитель группы защиты инфраструктурных ИТ-решений компании «Газинформсервис», накануне выступил на кибербатле и рассказал о трендах в направлении киберугроз для бизнеса. Кибербатл прошёл в рамках XX конференции «Корпоративное страхование 2026», которую организовала компания ICG.

Его модерировал Иван Еремеев, управляющий директор РК «Страховой Брокер», а Сергей Полунин выступил экспертом по информационной безопасности (ИБ). Участники дискуссии разделились на команды адептов, представителей страховых компаний, и скептиков, компаний-заказчиков.

Дискуссию начал эксперт компании «Газинформсервис», рассказав о кибербезопасности без иллюзий. Сегодня целью атак может стать кто угодно: госсектор, промышленность, НКО и многие другие отрасли. При этом у злоумышленников, как правило, есть довольно много точек входа.

«Закрытый контур неуязвим только до первого взлома, — отметил Сергей Полунин. — Найти вход в систему можно через флешки, ноутбуки подрядчиков, VPN и другие каналы. А если в инфраструктуре есть не поддерживаемое ПО, отсутствуют обновления и активно используются теневые ИТ (внешние мессенджеры, личные устройства и пр.), взлом становится лишь вопросом времени. Но даже если ваша инфраструктура, казалось бы, надёжно защищена, всегда есть демотивированные инсайдеры или некомпетентные подрядчики, которые случайно или не очень могут скомпрометировать систему».

Информационная безопасность необходима, но она не бывает стопроцентной, подчёркивает Сергей Полунин. Защитные системы гарантированно позволят раньше обнаружить уязвимость, локализовать её, уменьшить ущерб, ускорить восстановление и повысить устойчивость. А в случаях, когда инфраструктуру всё-таки взломали, помогает киберстрахование. Оно может покрыть ущерб от финансовых потерь, вызванных инцидентами и цифровыми рисками.

«Абсолютной защиты не существует. Зрелая ИБ значительно снижает стоимость катастрофы, но не ограждает от неё. Помните, что закрытые контуры не бывают полностью закрытыми, внимательнее следите за подрядчиками и сотрудниками и будьте готовы к тому, что в большинстве случаев кибератака может случиться рано или поздно», — подчеркнул эксперт компании «Газинформсервис».

Участники дискуссии сошлись на том, что киберстрахование — интересная и перспективная область деятельности и логичное развитие для индустрии ИБ в целом. Однако принципы страхования нужно объяснять руководителям соответствующих подразделений, а также популяризовать эту историю через публичное освещение самых интересных кейсов в прессе. Участники также согласились, что по своей природе инциденты ИБ довольно сложны для анализа, а значит, привлекать к работам по оценке рисков придётся множество профильным специалистов из различных областей — от киберкриминалистов до специалистов по праву.

RSS: Новости на портале Anti-Malware.ru