Экспериментальный ИИ-червь Morris II умеет воровать данные и рассылать спам

Экспериментальный ИИ-червь Morris II умеет воровать данные и рассылать спам

Экспериментальный ИИ-червь Morris II умеет воровать данные и рассылать спам

Команда исследователей из США и Израиля создала червя, заточенного под приложения на основе генеративного ИИ, и натравила его на умного имейл-помощника собственной разработки. Эксперимент помог убедиться в наличии рисков для связанных GenAI-экосистем.

Автономно работающий имейл-агент передавал входящие письма для обработки на сервис, построенный на базе ИИ-модели (в ходе исследования были опробованы ChatGPT 4.0, Google Gemini Pro и opensource-проект LLaVA). В атаках компьютерного червя, нареченного Morris II, использовались вредоносные самотиражируемые подсказки (стимулы, провоцирующие ответы с новым запросом).

В качестве вектора атаки использовались два типа писем: текстовые и в виде файла изображений. В первом случае вставленный вредоносный стимул «отравляет» базу данных имейл-ассистента — тому приходится для большей точности и надежности ответов GenAI-сервиса дополнять запрос результатами поиска по внешним источникам.

В итоге атака приводит к джейлбрейку, открывая возможность для кражи конфиденциальной информации из писем (имен, телефонов, данных банковских карт, номеров соцстрахования и т. п.). При получении новых сообщений в сети сгенерированный ответ с таким содержимым передается на другие хосты и оседает там в базах данных/

В рамках другого сценария Morris II самовоспроизводящийся стимул встраивается в картинку, и вывод с GenAI-модели диктует перенаправление письма на другие хосты. Таким образом можно с помощью единственного письма распространять спам, пропагандистские материалы или запрещенный законом контент.

 

О найденной возможности обхода ограничений ChatGPT и Gemini было доложено разработчикам. В OpenAI решили, что это новый способ инъекции стимула, полагающийся на отсутствие проверок и фильтрации пользовательского ввода. В Google от комментариев воздержались, но исследование вызвало там интерес.

Сами авторы Morris II ожидают атак с использованием аналогов их лабораторного образца в ближайшие два-три года. Ввиду новой угрозы разработчикам ИИ-помощников рекомендуется заранее учитывать риски, а пользователям — никогда не оставлять таких ассистентов без присмотра.

Экс-подрядчики заявили о неограниченном доступе к переписке WhatsApp

В США разбираются с утверждениями о том, что сотрудники и подрядчики Meta (корпорация признана экстремистской и запрещена в России) могли иметь доступ к сообщениям пользователей WhatsApp, несмотря на публичные заявления компании о полной приватности и сквозном шифровании чатов.

Об этом сообщает Bloomberg со ссылкой на документы и показания бывших подрядчиков корпорации.

По данным издания, обвинения исходят от экс-подрядчиков Meta, которые заявляют о «неограниченном» доступе к переписке в WhatsApp. Эти утверждения изучали специальные агенты Министерства торговли США. Похожие жалобы, как отмечает Bloomberg, уже фигурировали в обращении в Комиссию по ценным бумагам и биржам США (SEC) ещё в 2024 году.

В частности, двое бывших модераторов контента WhatsApp рассказали агентам Бюро промышленности и безопасности (BIS), что некоторые сотрудники Meta могли просматривать содержимое чатов. Оба работали по контракту с консалтинговой компанией Accenture. По их словам, доступ к переписке был не только у отдельных сотрудников Meta, но и у части подрядчиков. «Оба источника подтвердили, что в их офисах работали сотрудники с неограниченным доступом к WhatsApp», — говорится в отчёте одного из агентов.

При этом в самом BIS поспешили дистанцироваться от этих заявлений. В бюро подчеркнули, что слова агента о методах шифрования WhatsApp «необоснованны и выходят за рамки его полномочий». Представитель BIS Лорен Вебер Холли также заявила, что ведомство не ведёт расследование в отношении WhatsApp или Meta по факту нарушений экспортного законодательства.

Один из подрядчиков Accenture, Ларкин Фордайс, подтвердил Bloomberg, что модераторам действительно предоставлялся собственный доступ к WhatsApp, а до этого они могли запрашивать доступ к переписке через внутренние процедуры. По его словам, он несколько раз давал показания агентам именно по поводу своей работы в Meta. Фордайс отметил, что работал по контракту до 2022 года и счёл важным поделиться имеющейся у него информацией с властями США.

Напомним, в США подали коллективный иск против Meta: корпорация обвиняют в том, что она вводит пользователей в заблуждение, рассказывая о конфиденциальности и безопасности переписок в WhatsApp. Сама Meta ранее неоднократно заявляла, что сообщения в WhatsApp защищены сквозным шифрованием и недоступны для чтения сотрудниками компании.

RSS: Новости на портале Anti-Malware.ru