38% крупных компаний делают свой ИИ, но защищать его умеют единицы

38% крупных компаний делают свой ИИ, но защищать его умеют единицы

38% крупных компаний делают свой ИИ, но защищать его умеют единицы

Российский бизнес всё активнее развивает собственные ИИ-сервисы, однако с их безопасностью дела обстоят заметно хуже. К такому выводу пришли эксперты К2 Кибербезопасность и «Лаборатории Касперского», опросившие специалистов более чем из 200 крупных компаний из сфер ИТ, финансов, телекоммуникаций, торговли, строительства и фармацевтики.

Исследование показало, что 38% крупных организаций уже имеют собственные команды, разрабатывающие ИИ-решения для внутренних процессов.

При этом в 75% случаев такие проекты полностью или частично не соответствуют практикам MLSecOps — подходу, который отвечает за безопасность систем искусственного интеллекта на всех этапах их жизненного цикла.

В целом компании не делают ставку на какой-то один инструмент. Более половины респондентов (59%) одновременно используют несколько типов ИИ-сервисов: отечественные и зарубежные решения, собственные разработки и продукты, созданные на заказ.

Наиболее востребованными остаются российские ИИ-сервисы — их используют 75% компаний. Зарубежные решения применяют 60% участников исследования. Такой расклад аналитики связывают с требованиями законодательства и политикой импортозамещения.

Однако внедрять ИИ бизнес научился быстрее, чем обеспечивать его безопасность. По данным исследования, лишь 18% компаний могут говорить о наличии управляемых процессов защиты собственных ИИ-разработок. Зрелые практики MLSecOps внедрены всего у 7% организаций.

Особенно тревожно выглядит другая цифра: в 60% случаев безопасность ИИ-проектов обеспечивают исключительно разработчики, без участия специалистов по информационной безопасности. Это увеличивает риск ошибок, утечек данных и появления новых уязвимостей.

Эксперты отмечают, что рынок MLSecOps пока только формируется, а многие компании ещё не понимают, как правильно защищать собственные ИИ-системы. При этом искусственный интеллект всё чаще становится частью критически важных бизнес-процессов, а значит цена ошибок будет только расти.

Positive Technologies научила ИИ замечать подозрительные сценарии в коде

Positive Technologies сообщила о разработке нейросети MOLOT, предназначенной для поиска вредоносного кода в проектах на Python, JavaScript и TypeScript. Технология уже используется в составе анализатора исходного кода PT Application Inspector версии 6.0.

В отличие от традиционных инструментов статического анализа, которые ищут опасные конструкции по заранее заданным правилам, новая модель анализирует последовательность действий, выполняемых программой.

Нейросеть оценивает не отдельные фрагменты кода, а их совокупность и пытается определить, формируют ли они подозрительный сценарий.

Проблема, которую пытаются решить разработчики, связана с так называемым намеренно внедрённым вредоносным кодом. В отличие от обычных уязвимостей, такой код не содержит ошибок, которые можно эксплуатировать извне. Он работает как легитимная часть приложения и использует те же права доступа, что и остальная программа.

 

По словам специалистов, именно поэтому многие подобные закладки остаются незамеченными при стандартных проверках безопасности.

Отдельные действия вредоносного кода сами по себе обычно не вызывают подозрений. Чтение файла, обращение к сети, шифрование данных или запуск процесса встречаются в тысячах обычных приложений. Однако если программа, например, считывает логины и пароли, кодирует их и затем отправляет на внешний сервер, такая последовательность уже может указывать на вредоносную активность.

 

Для анализа MOLOT строит цепочку действий программы — обращений к файлам, сетевых запросов, запуска процессов, использования криптографических функций и других операций. Затем эта последовательность передаётся в нейросеть, которая обучена отличать типичные сценарии работы приложений от поведения, характерного для вредоносного кода.

В компании утверждают, что тестирование проводилось на вредоносных пакетах из репозиториев PyPI и npm. По словам разработчиков, в ряде тестов модель показала более высокую точность по сравнению с существующими аналогами с открытым исходным кодом.

Одной из особенностей системы стала возможность объяснять свои выводы. Помимо самого вердикта нейросеть показывает строки кода, которые повлияли на решение. Это позволяет специалисту быстро перейти к подозрительному фрагменту и самостоятельно проверить результаты анализа.

Интерес к подобным инструментам растёт на фоне увеличения числа атак через цепочки поставок ПО, вредоносные пакеты в публичных репозиториях и распространения ИИ-инструментов для генерации программного кода.

RSS: Новости на портале Anti-Malware.ru