NIST представил новые меры для защиты ИИ-систем

NIST представил новые меры для защиты ИИ-систем

NIST представил новые меры для защиты ИИ-систем

Национальный институт стандартов и технологий США (NIST) представил инициативу по усилению кибербезопасности систем искусственного интеллекта. Ведомство выпустило концептуальный документ и план действий по разработке специальных Control Overlays для стандарта NIST SP 800-53, которые будут учитывать риски именно в сфере ИИ.

Почему это важно: существующие подходы к киберзащите часто не охватывают угрозы, характерные для ИИ — такие как инъекция промпта, отравление моделей, утечки данных через интерфейсы и манипуляции решениями алгоритмов. Новые контрольные наборы должны закрыть эти пробелы.

Что входит в инициативу:

  • отдельные меры безопасности для генеративных ИИ, предиктивных систем и мультиагентных архитектур;
  • рекомендации для разработчиков — чтобы безопасность учитывалась на всех этапах жизненного цикла ИИ, а не «прикручивалась» постфактум;
  • расширение существующего стандарта SP 800-53 и дополнение к уже принятой AI Risk Management Framework (AI RMF 1.0).

Чтобы собрать обратную связь и сделать процесс максимально открытым, NIST запустил отдельный Slack-канал «#NIST-Overlays-Securing-AI», где к обсуждению приглашают исследователей, разработчиков, администраторов и специалистов по управлению рисками. Там будут публиковаться обновления, проводиться дискуссии и приниматься предложения по финальной версии.

Инициатива NIST может стать новым ориентиром не только для США, но и для глобального рынка — именно такие стандартизированные меры помогут компаниям по всему миру подходить к безопасности ИИ более системно.

Напомним, на днях NIST выпустил рекомендации по выявлению поддельных фото в документах. Документ под названием FATE MORPH 4B (PDF) описывает, как работают видоизменённые изображения, и объясняет, какие шаги должны предпринимать организации — от паспортных столов до пограничных служб.

Мошенники используют атаки БПЛА для продвижения фейковых телеграм-каналов

На фоне массовой атаки БПЛА на Москву и Московскую область 17 мая специалисты «Эфшесть/F6» зафиксировали распространение ссылок на сомнительные телеграм-каналы с якобы оповещениями об атаках. Ссылки кидают в открытые домовые и районные чаты от лица соседей, которые просто делятся полезным каналом.

Но, по данным «Эфшесть/F6», многие такие «соседи» — фейковые аккаунты. Злоумышленники заранее заходят в открытые чаты по доступным ссылкам-приглашениям, сидят там в спящем режиме, обрастают аватарками и фотографиями, а в нужный момент начинают раздавать ссылки. Иногда используются и угнанные учётные записи.

Каналы маскируются под сервисы оповещения: в названиях встречаются слова «Радар» и «Москва», на аватарках могут использоваться элементы официальной символики столицы. Выглядит тревожно и срочно — ровно так, как нужно, чтобы человек на нервах нажал куда не надо.

Проблема в том, что такие каналы могут использоваться не только для распространения неподтверждённой информации, но и для угона аккаунтов, мошенничества и доставки фишинговых ссылок. В одном из каналов, изученных «Эфшесть/F6», каждое сообщение сопровождалось предложением воспользоваться телеграм-ботом с названием «Обход белых списков». Формулировку потом могут поменять, но схема от этого добрее не станет.

При обращении бот предлагает средство обхода блокировок и просит внести небольшой разовый платёж. Ранее «Эфшесть/F6» уже выявляла похожие схемы с платежом всего 1 рубль, где реальной целью был не рубль, а данные банковской карты и деньги на счёте.

Есть и отдельный риск с самими ботами. Подключаясь к телеграм-боту, пользователь передаёт владельцу бота данные о своём аккаунте. А потом такой уже знакомый бот может прислать фишинговую ссылку или вредоносный файл. Сначала вас заманивают тревожными оповещениями, потом предлагают полезный инструмент, а дальше всё по классике.

Во второй половине 17 мая эксперты также обнаружили синхронные публикации сообщений об угрозах новых атак в нескольких телеграм-каналах со словами «Радар» и «Москва» в названии. Такие сообщения размещались без пояснений и комментариев, а аудитория отдельных каналов, по данным «Эфшесть/F6», заявлена от 4 тыс. до 300 тыс. подписчиков.

«Эфшесть/F6» рекомендует не подписываться на каналы с оповещениями по ссылкам из непроверенных источников. А модераторам домовых, районных и других территориальных чатов стоит отключить добавление пользователей по общедоступным ссылкам-приглашениям.

RSS: Новости на портале Anti-Malware.ru