Создание доверенного ИИ — главная ИБ-задача | Интервью с Валентином Богдановым (УЦСБ)

Валентин Богданов, УЦСБ: Создание доверенного ИИ станет одной из важнейших ИБ-задач ближайших лет

Валентин Богданов, УЦСБ: Создание доверенного ИИ станет одной из важнейших ИБ-задач ближайших лет

Валентин Богданов

Генеральный директор федерального системного интегратора УЦСБ.

Свыше 20 лет опыта в ИТ и кибербезопасности. Сочетает глубокую техническую экспертизу с многолетним опытом в высшем менеджменте на позициях CISO и CEO.

Кандидат технических наук, доцент кафедры алгебры и фундаментальной информатики ИЕНиМ УрФУ, автор научных статей и учебных пособий по ИБ и прикладной математике.

...

Мы привыкли защищать данные при работе с классическими носителями информации. Но появился ещё один, нестандартный носитель данных — искусственный интеллект, который обрабатывает информацию по собственным законам. Как защитить то, что постоянно обучается, взаимодействует с другими системами и самостоятельно выполняет задачи? Почему старые подходы не дают ожидаемого эффекта и что нужно изменить в корпоративной безопасности? Поговорили об этом на SOC Forum с Валентином Богдановым, генеральным директором УЦСБ.

Искусственный интеллект (ИИ) помогает компаниям защититься от киберугроз, но в то же время привносит и новые риски. Какие основные сложности и вызовы, на ваш взгляд, возникают перед нами в связи с активным внедрением ИИ, особенно ИИ-агентов?

В. Б.: В последнее время я всё больше убеждаюсь, что радикально меняются не просто отдельные подходы или инструменты, а фундаментальные вещи.

Классическая теория информационной безопасности (ИБ) учит нас, что существует три типа носителей информации (по-английски — carrier). Первый — материальный: флешка, жёсткий диск, бумага. Второй — энергетический: проводные и беспроводные сети, то есть среда, в которой информация существует и передаётся очень быстро, но может распространяться неконтролируемо. И третий тип — человек. Он может создавать и обрабатывать информацию, быть администратором безопасности и даже злоумышленником.

Отсюда и базовый принцип защиты информации: защищать нужно её носитель. Мы знаем свойства каждого из них и применяем соответствующие меры защиты. Например, для энергетического носителя используем криптографические средства, экранирование, методы контроля утечек. Для материальных носителей — шифрование, физическую защиту, хранение в сейфах. При этом учитываем, что информация может мгновенно перемещаться с одного носителя на другой.

Для защиты информации, которой владеет человек, работают организационные меры, политики безопасности, юридические и административные методы.

Но сейчас появился четвёртый носитель — искусственный интеллект. И информация в нём существует и распространяется уже по своим законам. А значит, для её защиты нужны другие подходы, которые не всегда совпадают с теми, что мы привыкли применять для трёх традиционных типов носителей. В каких-то аспектах ИИ наследует свойства человека как носителя информации, в каких-то — энергетического. Ведь порой невозможно точно определить, где именно находится информация и куда она может попасть в следующий момент. А в чём-то он проявляет свойства материального носителя.

Поэтому защита информации в условиях, когда в игру вступает искусственный интеллект, — это уже задача совершенно иного порядка.

При каких условиях мы можем передавать данные модели, если не владеем ею? Особенно если она находится за пределами нашего контура?

В. Б.: Полный контроль даёт только отказ от передачи данных. Но может ли современная компания или организация вообще не использовать искусственный интеллект в своей работе?

На дискуссии «Данные для ИИ: кормить или закрывать?» я приводил аналогию. Можно ли обрабатывать информацию исключительно на бумаге, не переводя её в электронный вид? В принципе, можно. Когда-то информация действительно обрабатывалась и защищалась только на бумажных носителях. Если говорить о защите государственной тайны, то основными носителями информации тогда были человек и бумага. Компьютерная форма обработки просто не предусматривалась.

Но сегодня мы понимаем, что практически ни одна организация не может полноценно работать без компьютеров, баз данных, сетей и информации, которая обрабатывается в цифровом виде.

Сейчас происходит примерно такой же сдвиг. Вполне возможно, что скоро ни одна организация уже не сможет эффективно работать, если не будет использовать те или иные ИИ-сервисы.

Тогда какие требования мы должны предъявлять к использованию ИИ? 

В. Б.: На мой взгляд, здесь во многом применим классический подход к защите информации. Начинать нужно с политики безопасности. Прежде всего организация должна на уровне руководства закрепить правила использования искусственного интеллекта: разрешаем мы его или нет. Если разрешаем, то определить, какую информацию допускаем к обработке в облачных ИИ-сервисах, а какую можно обрабатывать только в локальных моделях.

Следующий шаг — организационные и технические меры. Важно, чтобы сотрудники понимали, как безопасно работать с ИИ и какие риски при этом возникают.

Например, Shadow AI, о котором сейчас много говорят, — это лишь один из возможных векторов атаки. Причём довольно очевидный, тот самый, что лежит на поверхности. Но под ним скрывается гораздо больше способов атаковать ИИ и уязвимостей, которые совершенно нехарактерны для классических информационных систем.

Я знаю, что вы проводите интересные исследования и выпускаете аналитические отчёты. В частности, летом активно обсуждался отчёт, посвящённый регулированию ИИ-сферы. Скажите, пожалуйста, выводы и наработки, представленные в этом отчёте, уже применяются на практике?

В. Б.: Безусловно, проектируя услуги и продукты, которые мы предлагаем нашим заказчикам и рынку в целом, мы опираемся на результаты этих исследований. Они помогают отделить реальные угрозы, которые уже можно обнаружить и подтвердить на практике, от тех, что пока существуют скорее в теории или остаются лишь прогнозами на будущее.

Помимо очевидных рисков, связанных с использованием ИИ сотрудниками, возникают и менее заметные угрозы. Какие уязвимости ИИ-систем вы сейчас исследуете?

В. Б.: Приведу несколько примеров. Наш исследовательский центр отдельно изучает уязвимости, специфичные для искусственного интеллекта.

Прежде всего — отравление RAG. RAG — это технология, при которой ИИ использует внешние базы знаний и источники данных для поиска информации и формирования ответов.

Один из векторов атаки — внедрение в такую базу заведомо ложной или искажённой информации. В результате ИИ начинает опираться на недостоверные данные, что нарушает логику его работы. В лучшем случае это снижает эффективность использования модели, в худшем — приводит к тому, что ИИ генерирует рекомендации и принимает решения, которые могут нанести вред предприятию, бизнесу или процессам обработки информации.

Например, ИИ может сгенерировать код, в котором будут скрыты уязвимости.

В. Б.: Или он может скрыть важную для организации информацию, необходимую для принятия решений.

Но вернёмся к вопросу: можно ли использовать искусственный интеллект для обработки конфиденциальной информации и персональных данных? На самом деле технические решения для этого уже существуют. Например, есть так называемые AI DLP-системы, которые контролируют потоки информации, выходящие за пределы корпоративного периметра. Они могут обфусцировать данные, то есть обезличивать их перед отправкой во внешнюю модель, а при получении ответа выполнять обратное преобразование.

Допустим, организации нужно обработать данные 2 000 пользователей. Перед отправкой во внешнюю систему реальные имена, зарплаты и другие персональные сведения заменяются случайными значениями. В результате модель работает с теми же по смыслу и структуре данными, но уже обезличенными.

Те же подходы можно применять и для безопасной работы с ИИ, даже если модель находится за пределами корпоративного контура, например, в зарубежном облаке. В таком случае мы не передаём ей персональные данные в исходном виде, а отправляем информацию, которая сохраняет их смысл и структуру, но не содержит реальных идентификаторов.

 

 

Раньше написанный разработчиком код проверяли с помощью SAST-анализаторов и других инструментов поиска уязвимостей. С появлением ИИ-агентов привычная схема уже не работает в прежнем виде?

В. Б.: Ну, здесь я, пожалуй, не соглашусь. Классические методы проверки безопасности (SAST, DAST, MAST, фаззинг и другие подходы) по-прежнему необходимы. Вопрос в том, как организовать этот процесс.

При классической разработке код, написанный человеком, проверяют другие разработчики, аналитики и эксперты. При разработке с помощью ИИ всё может быть устроено по тому же принципу: проверку по-прежнему могут проводить люди, но её также можно поручить другому искусственному интеллекту. Почему бы и нет, если это проверенная и доверенная модель? Именно задача создания доверенного искусственного интеллекта станет одной из важнейших в нашей дальнейшей работе.

С появлением ИИ-агентов меняются ли подходы к разграничению доступа в SOC? Как управлять их полномочиями?

В. Б.: В задаче разграничения доступа в SOC уже сейчас мы видим, что необходимо учитывать не только людей как субъектов доступа, но и ИИ-агентов. Они действуют по собственной логике, выполняют определённые задачи, и для них тоже нужно устанавливать правила и политики разграничения доступа.

Сейчас начинает формироваться новое направление — управление идентификацией и правами доступа ИИ-агентов. Наши специалисты уже работают над агентным IDM. ИИ-агентов также можно будет включать в общие матрицы разграничения доступа, распределять между ними права и управлять предоставлением и повышением привилегий.

На уровне SOC дискуссия о том, нужно ли автоматизировать анализ инцидентов и реагирование на них, постепенно теряет актуальность. У нас просто не остаётся выбора?

В. Б.: В целом уже существует концепция автономного SOC — центра мониторинга и реагирования на инциденты, который работает без участия человека, полностью на базе ИИ-агентов. Они самостоятельно выполняют триаж, обрабатывают инциденты, проводят расследования, анализируют угрозы и реагируют на них. И здесь возникает главный вопрос — вопрос доверия. Как мы можем быть уверены, что такой SOC действует в наших интересах? Что информация не утекает? Что в нужный момент он выполнит именно те действия, которые от него ожидаются?

При этом уже есть показатели, которые говорят о том, что автономный SOC может быть эффективнее традиционного, в котором работают люди. ИИ принимает решения без эмоциональной нагрузки, не устаёт, например, во время ночных дежурств и может действовать более рационально.

Поэтому я ещё раз подчеркну: создание доверенного ИИ станет одной из важнейших ИБ-задач ближайших лет в контексте развития ИИ. По каким критериям мы можем оценивать, насколько ему можно доверять? Как проверять результаты, которые он генерирует? Какие методы верификации для этого использовать? И это касается не только ИБ, но и всех остальных сфер, в которых сегодня применяется искусственный интеллект.

Давайте представим, что мы уже на следующем SOC Forum, в 2027 году... О чём мы будем говорить? Какая тема станет основной?

В. Б.: Можно выделить несколько тем, которые так или иначе уже обсуждаются. Искусственный интеллект — безусловно, одна из них. Это то, что актуально сегодня и будет обсуждаться завтра.

Например, квантовая и постквантовая криптография. Насколько эта тема актуальна? Полагаю, в 2027 году она ещё не станет такой злободневной. Скорее, это произойдёт ближе к 2030 году. Но стоит отметить, что разработчики и исследователи уже сейчас действительно думают о постквантовой криптографии.

А такие направления, как облачная безопасность или безопасность блокчейна, уже вышли на высокий уровень зрелости. Это не что-то новое, а то, что постоянно используется и стало своего рода гигиеническим минимумом.

Думаю, в следующем году мы продолжим говорить о безопасности искусственного интеллекта. Но уровень нашего понимания и осознанности в этих вопросах, а также накопленный опыт позволят обсуждать эту тему гораздо глубже.

Будущее неизбежно приходит. Вот, например, недавно наш исследовательский центр опубликовал информацию о взломе интерпретатора PHP. И, судя по всему, именно ИИ позволил обнаружить уязвимость, которая существовала уже довольно давно.

Валентин, спасибо за интересное интервью! Удачи и развития вашей компании!

Подпишитесь на новости

RSS: популярные интервью на Anti-Malware.ru