Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Команда Microsoft AI Red Team (AIRT) подытожила свой опыт тестирования 100 продуктов, созданных в компании на основе генеративного ИИ, и пришла к выводу, что обеспечение безопасности таких систем — нескончаемый процесс.

Из-за фундаментальных ограничений ИИ-моделей угрозы вроде инъекции стимула и джейлбрейка в этой сфере неистребимы.

Однако такие атаки можно сделать более затратными — как и в случае с другими ИТ-рисками, которые удается снизить, применяя, к примеру, тактику эшелонированной защиты (defense-in-depth) или следуя принципам конструктивной безопасности (security-by-design).

Делясь опытом, в Red Team также отметили (PDF), что для выстраивания защиты ИИ-системы важно понимать ее возможности и учитывать сферу применения. Так, большие языковые модели (БЯМ, LLM) склонны слепо следовать инструкциям пользователя, и их легко обмануть, спрятав вредоносный контент в большом объеме безобидного текста при вводе.

Также атака на ИИ-помощника по литературному творчеству вряд ли приведет к серьезным последствиям, а в случае с LLM, предназначенной для анализа историй болезни, может нанести вред здоровью пациентов и поставить крест на репутации медучреждения.

Чтобы заставить LLM выдать вредный совет, необязательно проводить градиентные состязательные атаки. Тот же эффект можно получить более дешевым способом, манипулируя интерфейсом либо введя в заблуждение модель языка и технического зрения.

 

Еще одно важное наблюдение, которым поделились специалисты: использование ИИ увеличивает существующие риски и создает новые.

Напомним, вопросы использования ИИ недавно обсуждались в ходе Открытой конференции Института системного программирования РАН им. В. П. Иванникова. Участники пленарной дискуссии сошлись во мнении, что внедрение ИИ-технологий тормозят проблемы доверия и безопасности таких сервисов.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Бизнес-день GIS DAYS 2025: ключевые игроки ИБ-рынка обсудят защиту ИИ

3 октября в Москве в кинотеатре «Октябрь» состоится бизнес-день форума GIS DAYS 2025*. Мероприятие, организованное компанией «Газинформсервис», соберёт на одной площадке ведущих экспертов, представителей государственных органов и топ-менеджмент крупнейших ИТ- и ИБ-компаний для обсуждения самых актуальных вызовов цифровой эпохи.

Деловая программа дня будет сосредоточена на практических решениях для защиты бизнеса. Ключевым событием станет пленарное заседание «Как защитить искусственный интеллект».

В рамках бизнес-трека «Классика и авангард» лидеры индустрии представят кейсы интеграции машинного обучения в традиционные системы защиты. Отдельный блок будет посвящён технологиям BAS (Breach and Attack Simulation) для имитации сложных кибератак.

«Сегодня невозможно говорить о безопасности изолированно, только в контексте технологий. На GIS DAYS мы создаём среду, где стратегическое видение регуляторов встречается с практическим опытом вендоров и запросами бизнеса. Фокус на ИИ в этом году — не просто тренд, а насущная необходимость, и мы готовы предложить рынку конкретные решения», — отметил Валерий Пустарнаков, учредитель компании «Газинформсервис».

Во второй половине дня эксперты представят формат «Броня за 7 шагов» — семь последовательных шагов, от управления активами до валидации защищённости. Участники увидят, как выстроить сквозной процесс противодействия угрозам.

Завершит деловую программу масштабная дискуссия «ИБ-Пророки: 2-ой сезон», где обсудят развитие угроз и технологий защиты на ближайшие годы.

В отдельном зале пройдёт технический трек для специалистов, посвящённый безопасности цифрового будущего, круглые столы по итогам полугодия для рынка NGFW и сессия «Киберустойчивость» с докладами молодых специалистов.

Подробнее: https://gisdays.ru/?utm_source=anti-malware&utm_medium=article&erid=2Vfn...

*Global Information Security Days — дни глобальной информационной безопасности.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru