Сбер разработал комплексную модель угроз для ИИ

Сбер разработал комплексную модель угроз для ИИ

Сбер разработал комплексную модель угроз для ИИ

Эксперты Сбера разработали модель угроз для искусственного интеллекта (включая генеративный ИИ), охватывающую все этапы жизненного цикла таких систем — от подготовки данных до интеграции в приложения.

Документ опубликован на портале киберграмотности Сбера «Кибрарий». Он не привязан к конкретной отрасли и предназначен для оценки потенциальных уязвимостей, адаптации защитных механизмов и минимизации рисков.

В исследовании описаны 70 угроз, связанных с применением как предиктивных, так и генеративных моделей ИИ. Особое внимание уделено рискам, возникающим при использовании генеративных систем, чье распространение стремительно растёт. Для каждой угрозы определены затрагиваемые свойства информации — конфиденциальность, целостность и доступность, а также объекты воздействия, будь то обучающие датасеты или модели с открытым исходным кодом. Модель включает схему взаимодействия таких объектов и их детальное описание.

«Сбер активно применяет технологии искусственного интеллекта в бизнес-процессах и глубоко понимает возникающие угрозы. В ответ на эти вызовы мы создали первую в России модель киберугроз, охватывающую весь спектр рисков, связанных с разработкой и использованием ИИ. Этот документ позволит организациям любой сферы — от финансов до госструктур и промышленности — системно оценивать уязвимости, настраивать защитные меры и снижать возможные потери», — отметил вице-президент Сбера по кибербезопасности Сергей Лебедь.

Ключевые риски при использовании ИИ — это принятие ошибочных решений и утечки данных, использованных при обучении моделей. Кроме того, ИИ активно используют киберпреступные группировки в своих целях.

Исследователи взломали защиту Apple Intelligence через инъекцию промпта

Исследователи рассказали о недавно пропатченной уязвимости в Apple Intelligence, которая позволяла обходить встроенные ограничения и заставлять локальную языковую модель выполнять действия по сценарию атакующего.

Подробности атаки описаны сразу в двух публикациях. По словам авторов исследования, им удалось объединить две техники атаки и через инъекцию промпта добиться выполнения вредоносных инструкций на устройстве.

Как объясняют специалисты, запрос пользователя сначала проходит через входной фильтр, который должен отсекать опасный контент. Если всё выглядит безопасно, запрос отправляется в саму модель, а затем уже готовый ответ проверяет выходной фильтр. Если система замечает что-то подозрительное, вызов API просто завершается с ошибкой.

Чтобы обойти эту схему, исследователи собрали эксплойт из двух частей. Сначала они использовали строку с вредоносным содержимым в перевёрнутом виде и добавляли Unicode-символ RIGHT-TO-LEFT OVERRIDE. За счёт этого на экране текст отображался нормально, а вот в «сыром» виде для фильтров оставался перевёрнутым. Это помогало пройти проверку на входе и выходе.

 

Второй частью цепочки стала техника Neural Exec. По сути, это способ подменить или переопределить исходные инструкции модели так, чтобы она начала следовать уже командам атакующего, а не базовым системным ограничениям.

В итоге первая техника позволяла обмануть фильтры, а вторая — заставляла модель вести себя не так, как задумано. Для проверки исследователи прогнали 100 случайных сценариев, комбинируя системные промпты, вредоносные строки и внешне безобидные тексты, например фрагменты из статей Wikipedia. В этих тестах успешность атаки составила 76%.

О проблеме Apple уведомили ещё в октябре 2025 года. С тех пор компания усилила защитные механизмы, а патчи вошли в состав iOS 26.4 и macOS 26.4.

RSS: Новости на портале Anti-Malware.ru