NIST представил новые меры для защиты ИИ-систем

NIST представил новые меры для защиты ИИ-систем

NIST представил новые меры для защиты ИИ-систем

Национальный институт стандартов и технологий США (NIST) представил инициативу по усилению кибербезопасности систем искусственного интеллекта. Ведомство выпустило концептуальный документ и план действий по разработке специальных Control Overlays для стандарта NIST SP 800-53, которые будут учитывать риски именно в сфере ИИ.

Почему это важно: существующие подходы к киберзащите часто не охватывают угрозы, характерные для ИИ — такие как инъекция промпта, отравление моделей, утечки данных через интерфейсы и манипуляции решениями алгоритмов. Новые контрольные наборы должны закрыть эти пробелы.

Что входит в инициативу:

  • отдельные меры безопасности для генеративных ИИ, предиктивных систем и мультиагентных архитектур;
  • рекомендации для разработчиков — чтобы безопасность учитывалась на всех этапах жизненного цикла ИИ, а не «прикручивалась» постфактум;
  • расширение существующего стандарта SP 800-53 и дополнение к уже принятой AI Risk Management Framework (AI RMF 1.0).

Чтобы собрать обратную связь и сделать процесс максимально открытым, NIST запустил отдельный Slack-канал «#NIST-Overlays-Securing-AI», где к обсуждению приглашают исследователей, разработчиков, администраторов и специалистов по управлению рисками. Там будут публиковаться обновления, проводиться дискуссии и приниматься предложения по финальной версии.

Инициатива NIST может стать новым ориентиром не только для США, но и для глобального рынка — именно такие стандартизированные меры помогут компаниям по всему миру подходить к безопасности ИИ более системно.

Напомним, на днях NIST выпустил рекомендации по выявлению поддельных фото в документах. Документ под названием FATE MORPH 4B (PDF) описывает, как работают видоизменённые изображения, и объясняет, какие шаги должны предпринимать организации — от паспортных столов до пограничных служб.

Опасный троян SparkCat снова пробрался в App Store и Google Play

Троян SparkCat снова вернулся в официальные магазины приложений. Эксперты «Лаборатории Касперского» сообщили, что обнаружили новый вариант этого зловреда в App Store и Google Play спустя примерно год после того, как его уже находили и удаляли оттуда.

На этот раз вредонос маскировался под вполне обычные приложения, которые не вызывают особых подозрений с первого взгляда: корпоративные мессенджеры и сервисы доставки еды.

А сценарий у операторов всё тот же: пользователь скачивает вроде бы безобидное приложение, а внутри оказывается троян, который охотится за данными пользователя.

Главная цель SparkCat — фотографии в галерее смартфона. Зловред в определённых сценариях запрашивает доступ к снимкам, после чего начинает анализировать текст на изображениях с помощью OCR. В первую очередь его интересуют фразы для восстановления доступа к криптокошелькам. Если троян находит что-то подходящее, изображение отправляется злоумышленникам.

По данным «Лаборатории Касперского», в App Store нашли два заражённых приложения, а в Google Play — одно. О находке сообщили Apple и Google, и в Google Play вредоносное приложение уже удалили. При этом проблема не ограничивается только официальными магазинами: приложения со SparkCat также распространяются через сторонние сайты. Некоторые из них, как отмечают исследователи, даже мимикрируют под App Store, если открыть их с iPhone.

Интересно, что обновлённые версии трояна по-разному ведут себя на Android и iPhone. На Android SparkCat ищет ключевые слова на японском, корейском и китайском языках, из-за чего исследователи предполагают, что эта часть кампании в первую очередь нацелена на пользователей в Азии. А вот iOS-версия ориентируется на мнемонические фразы криптокошельков на английском языке, так что здесь география потенциальных атак уже выглядит гораздо шире.

С технической точки зрения зловред тоже стал хитрее. В «Лаборатории Касперского» говорят, что новая Android-версия использует несколько уровней обфускации, в том числе виртуализацию кода и кросс-платформенные языки программирования. Для мобильного зловреда это уже довольно серьёзный уровень подготовки, который помогает ему дольше оставаться незамеченным и проходить проверки.

Как отметил эксперт по кибербезопасности Сергей Пузан, поведение нового образца очень похоже на первую версию SparkCat, поэтому есть основания полагать, что за обеими кампаниями стоят одни и те же разработчики. Его коллега Дмитрий Калинин добавил, что SparkCat продолжает эволюционировать и всё лучше обходит защитные механизмы официальных магазинов приложений.

RSS: Новости на портале Anti-Malware.ru