ИБ и искусственный интеллект: новая ниша для разработок

Стремительное повсеместное проникновение систем ИИ порождает новые риски и, соответственно, необходимость создания новых программных инструментов для их устранения. Аналитики уже дают прогнозы относительно того, как будет формироваться эта новая ниша.

1. Введение
2. Направления развития ИИ
3. Этапы проникновения ИИ
4. Появление ИИ порождает новые риски
5. Финансирование развития ИИ и ИБ
6. Выводы

Введение

Широкое распространение систем искусственного интеллекта (ИИ) уже породило обилие хайпа. Но в основном он касался занятости, образования, различных вариантов использования. Рассуждений о том, как будет формироваться связанный с ИИ рынок ИБ, до сих пор было мало.

Сейчас важно правильно определить, в каких направлениях пойдёт развитие систем искусственного интеллекта и как будет следом развиваться ИБ. В этой статье мы постарались изложить мнения аналитиков, которые ставили перед собой задачу оценить предстоящие изменения на рынке с точки зрения ИБ-вендоров.

Направления развития ИИ

Рассматривать угрозы без прямой связи с особенностями ИИ бесполезно. Для начала необходимо достичь понимания того, что такое ИИ.

Многие сейчас связывают использование ИИ с работой чат-ботов и рекомендательных систем. Действительно, в их основе лежат т. н. большие языковые модели (LLM), но, как утверждают эксперты, это лишь частные примеры.

Более широкий охват мы увидели в недавнем докладе немецкой компании Statista «The AI Advantage: Powering Business Competitiveness». Её аналитики выделяют следующие три направления ИИ-разработок.

1. Машинное обучение. Сюда относится всё связанное с разработкой алгоритмов обучения ИИ-систем, а также с развитием существующих стандартов и языковых ИИ-моделей. Алгоритмы, которые появятся в будущем, должны помогать анализировать большие объёмы данных, в том числе имеющих сложную структуру, а также распознавать закономерности, формировать прогнозы и вносить коррективы. Ожидается, что ИБ обеспечит противостояние традиционным методам взлома и угрозам компрометации данных из языковых моделей.
2. Робототехника. Это направление связано с разработкой и обучением роботов — устройств, которые обеспечивают взаимодействие ИИ с людьми и окружающим миром. Их развитие подразумевает применение глубокого обучения и постепенное наращивание «самосознания». ИБ-решения должны защищать правильность функционирования подобных систем.
3. Нейронные сети. Эта область связана с использованием алгоритмов для искусственного воссоздания цепочек и связей в коре головного мозга человека. ИБ должна оберегать работу таких систем, но не мешать развитию «когнитивных» способностей.

Также аналитики Statista выделили прикладные направления развития ИИ (рис. 1).

Рисунок 1. Ниши прикладного применения ИИ (Statista, 2023)

В каких из этих ниш следует ждать появления кибератак против ИИ-систем в первую очередь?

Косвенно ответ на этот вопрос дали аналитики McKinsey. Они оценили рынок и выявили направления, где внедрение систем автоматизации с искусственным интеллектом идёт наиболее интенсивно. Statista приводит их данные в своём докладе. В лидерах — промышленная автоматизация с использованием робототехники (39 %), а также системы компьютерного зрения (34 %).

Рисунок 2. Доля применения ИИ в различных нишах (McKinsey, 2022)

Этапы проникновения ИИ

Эти данные демонстрируют пёструю картину происходящего на рынке. ИИ проникает в корпоративные и промышленные системы и применяется там по-разному. Аналитики выделили несколько этапов этого процесса.

На начальном этапе решаются задачи по автоматизации рутинных и трудоёмких операций. Сфера их действия ограничивается обычно настольными или мобильными устройствами, эффект проявляется локально. Под автоматизацию подпадают задачи, для решения которых достаточно простых правил и однократных (не рекурсивных) запусков сценариев — что-то вроде написания и применения макросов для Excel.

Второй этап автоматизации связывают с появлением более сложных правил, выполнением рекурсивных операций.

Рисунок 3. Этапы автоматизации бизнес-процессов (McKinsey, 2022)

Третий этап — «когнитивная автоматизация». Это уже самоорганизовывающийся процесс, для управления которым используется виртуальный помощник. Такие системы умеют распознавать входные данные (голос, символы, изображения) и помогают динамически управлять бизнес-процессами между подразделениями.

На четвёртом этапе появляется интеллектуальная система, способная оптимизировать выполняемые операции и автоматически добиваться улучшения критически важных процессов. По мнению аналитиков Statista, её уже можно назвать искусственным интеллектом.

Появление ИИ порождает новые риски

Технологии искусственного интеллекта стали активно применяться в работе различных государственных и бизнес-структур — в том числе и российских. По словам Дмитрия Чернышенко, зампредседателя Правительства РФ, в марте 2023 года уже более 52 % крупных организаций в России использовали ИИ в своей деятельности, около 21 % планировали начать это делать в ближайшее время.

По оценкам экспертов, к 2025 году вклад ИИ в ВВП страны может составить до 2 %. Правительство курирует создание более чем 60 перспективных технологических ИИ-решений. Их эффективность будет оцениваться по увеличению объёма российского рынка ИИ-технологий. Согласно существующим прогнозам, к 2030 году он должен составить не менее 20 млрд рублей, то есть увеличиться как минимум вдвое.

В то же время уже сейчас ясно, что внедрение ИИ принесёт с собой новые риски. Интуитивно понятно, что такие системы могут быть уязвимы для широкого набора различных манипуляций. В числе возможных проблем — последствия ошибок в работе программных и аппаратных ИИ-систем, угрозы компрометации защищённой и персональной информации вследствие бесконтрольного доступа к наборам данных, используемым для машинного обучения, и пр. Существуют также риски злонамеренного проникновения в рабочие процессы ИИ-систем, что может привести к снижению их производительности или раскрытию параметров применяемой ИИ-модели.

Заметим по этому поводу, что известная среди ИБ-специалистов организация MITRE собирает результаты исследования существующих программных комплексов с машинным обучением на предмет возможных проблем с безопасностью. Репрезентативная выборка кейсов показывает широкий спектр методов атак на системы различных архитектур и назначений. 

С другой стороны, остановить широкое распространение новых технологий уже невозможно. По данным прошлогоднего (октябрь 2022 г.) исследования от компании Deloitte, 94 % из 2620 опрошенных топ-руководителей западных компаний назвали внедрение ИИ критически важным фактором для достижения успехов в бизнесе на горизонте ближайших пяти лет.

Исследование рисков от применения ИИ и разработка систем для борьбы с ними становятся важным направлением развития ИБ-отрасли в целом.

Финансирование развития ИИ и ИБ

Развитие ИБ, несомненно, будет идти в ногу с прогрессом ИИ-систем. Но речь идёт не только о развитии технологий: важно заранее понимать, кто будет вкладывать средства в будущее отрасли. 

По данным Statista, практически половина инвестиций в экосистемы ИИ приходится на венчурный капитал частных или корпоративных фондов. За пять лет его доля немного снизилась — с 47 % (2018) до 41 % (2022), — но по-прежнему велика.

Рисунок 4. Инвестиции в развитие ИИ (Statista, 2022)

В России, напротив, главными инвесторами являются государство и крупный бизнес.

Рисунок 5. Российская структура инвестиций в развитие ИИ

Таким образом, можно сказать, что на Западе формирование рыночных ниш для систем искусственного интеллекта (и, соответственно, ИБ-решений для их защиты) идёт по классическому пути: исследования, аналитика, привлечение венчурных инвестиций, формирование спроса со стороны крупного и малого бизнеса. В России же главные направления развития ИИ формирует крупный бизнес, нацеленный на развитие собственных решений, и государство, которое стремится сформировать на этой волне тренд развития экономики. Основополагающим фактором здесь является регуляторная деятельность.

Рисунок 6. Нормативное правовое регулирование в сфере ИИ на примере ретейла

Выводы

В этой статье мы постарались дать описание того, как аналитики и эксперты оценивают состояние и перспективы искусственного интеллекта. На этой основе можно судить о будущих рыночных нишах для соответствующих ИБ-продуктов.

Тема ИБ и ИИ не исчерпывается этими данными. Очевидно, что на формирование новой ниши также влияют анализ атак на действующие и экспериментальные ИИ-системы и оценка целей / интересов злоумышленников. Эта тема будет рассмотрена позднее.