Экспериментальный ИИ-червь Morris II умеет воровать данные и рассылать спам

Экспериментальный ИИ-червь Morris II умеет воровать данные и рассылать спам

Экспериментальный ИИ-червь Morris II умеет воровать данные и рассылать спам

Команда исследователей из США и Израиля создала червя, заточенного под приложения на основе генеративного ИИ, и натравила его на умного имейл-помощника собственной разработки. Эксперимент помог убедиться в наличии рисков для связанных GenAI-экосистем.

Автономно работающий имейл-агент передавал входящие письма для обработки на сервис, построенный на базе ИИ-модели (в ходе исследования были опробованы ChatGPT 4.0, Google Gemini Pro и opensource-проект LLaVA). В атаках компьютерного червя, нареченного Morris II, использовались вредоносные самотиражируемые подсказки (стимулы, провоцирующие ответы с новым запросом).

В качестве вектора атаки использовались два типа писем: текстовые и в виде файла изображений. В первом случае вставленный вредоносный стимул «отравляет» базу данных имейл-ассистента — тому приходится для большей точности и надежности ответов GenAI-сервиса дополнять запрос результатами поиска по внешним источникам.

В итоге атака приводит к джейлбрейку, открывая возможность для кражи конфиденциальной информации из писем (имен, телефонов, данных банковских карт, номеров соцстрахования и т. п.). При получении новых сообщений в сети сгенерированный ответ с таким содержимым передается на другие хосты и оседает там в базах данных/

В рамках другого сценария Morris II самовоспроизводящийся стимул встраивается в картинку, и вывод с GenAI-модели диктует перенаправление письма на другие хосты. Таким образом можно с помощью единственного письма распространять спам, пропагандистские материалы или запрещенный законом контент.

 

О найденной возможности обхода ограничений ChatGPT и Gemini было доложено разработчикам. В OpenAI решили, что это новый способ инъекции стимула, полагающийся на отсутствие проверок и фильтрации пользовательского ввода. В Google от комментариев воздержались, но исследование вызвало там интерес.

Сами авторы Morris II ожидают атак с использованием аналогов их лабораторного образца в ближайшие два-три года. Ввиду новой угрозы разработчикам ИИ-помощников рекомендуется заранее учитывать риски, а пользователям — никогда не оставлять таких ассистентов без присмотра.

ShinyHunters добрались до данных Vimeo через Anodot

Vimeo сообщила о несанкционированном доступе к данным части пользователей и клиентов. Киберинцидент связан не с прямым взломом самой видеоплатформы, а с недавней атакой на Anodot — сторонний сервис для выявления аномалий в данных.

По предварительным данным Vimeo, злоумышленники получили доступ в основном к технической информации, названиям видео и метаданным.

В некоторых случаях среди затронутых данных также были адреса электронной почты клиентов. При этом компания подчёркивает, что сами загруженные видео, учётные данные пользователей и платёжная информация не пострадали.

Ответственность за атаку взяла на себя группировка ShinyHunters. Она утверждает, что получила доступ к данным из облачных сред Vimeo, включая Snowflake и BigQuery, и пригрозила опубликовать информацию, если компания не заплатит выкуп.

Инцидент с Anodot затронул не только Vimeo. По данным СМИ, злоумышленники похитили токены аутентификации и использовали их для доступа к клиентским средам, прежде всего Snowflake. Среди других пострадавших ранее называли Rockstar Games.

Vimeo уже отключила все учётные данные Anodot и убрала интеграцию сервиса из своих систем. Компания расследует инцидент вместе со сторонними специалистами по безопасности и уведомила правоохранительные органы. Пока работа платформы, по словам Vimeo, не нарушена.

«Кража данных с целью вымогательства сегодня уже не редкость. Особенно опасны такие инциденты для компаний, которые хранят большие объёмы персональных данных клиентов: последствия могут включать репутационные потери, штрафы по 152-ФЗ и судебные иски. Помимо базовых мер защиты — шифрования данных, многофакторной аутентификации и регулярных аудитов безопасности — с начала года мы видим рост интереса к сервисам резервного копирования», — Андрей Кузнецов, генеральный директор ООО «РуБэкап» (входит в «Группу Астра»).

«Важно понимать, что СРК существенно снижают риски, связанные с утечками данных: они помогают избежать полной потери информации после атак и минимизируют необходимость публичного раскрытия инцидентов. Неизменяемые копии защищают бэкапы от вирусов-шифровальщиков и позволяют быстро восстановить данные без выплаты выкупа и дополнительных рисков утечки».

RSS: Новости на портале Anti-Malware.ru