Экспериментальный ИИ-червь Morris II умеет воровать данные и рассылать спам

Экспериментальный ИИ-червь Morris II умеет воровать данные и рассылать спам

Экспериментальный ИИ-червь Morris II умеет воровать данные и рассылать спам

Команда исследователей из США и Израиля создала червя, заточенного под приложения на основе генеративного ИИ, и натравила его на умного имейл-помощника собственной разработки. Эксперимент помог убедиться в наличии рисков для связанных GenAI-экосистем.

Автономно работающий имейл-агент передавал входящие письма для обработки на сервис, построенный на базе ИИ-модели (в ходе исследования были опробованы ChatGPT 4.0, Google Gemini Pro и opensource-проект LLaVA). В атаках компьютерного червя, нареченного Morris II, использовались вредоносные самотиражируемые подсказки (стимулы, провоцирующие ответы с новым запросом).

В качестве вектора атаки использовались два типа писем: текстовые и в виде файла изображений. В первом случае вставленный вредоносный стимул «отравляет» базу данных имейл-ассистента — тому приходится для большей точности и надежности ответов GenAI-сервиса дополнять запрос результатами поиска по внешним источникам.

В итоге атака приводит к джейлбрейку, открывая возможность для кражи конфиденциальной информации из писем (имен, телефонов, данных банковских карт, номеров соцстрахования и т. п.). При получении новых сообщений в сети сгенерированный ответ с таким содержимым передается на другие хосты и оседает там в базах данных/

В рамках другого сценария Morris II самовоспроизводящийся стимул встраивается в картинку, и вывод с GenAI-модели диктует перенаправление письма на другие хосты. Таким образом можно с помощью единственного письма распространять спам, пропагандистские материалы или запрещенный законом контент.

 

О найденной возможности обхода ограничений ChatGPT и Gemini было доложено разработчикам. В OpenAI решили, что это новый способ инъекции стимула, полагающийся на отсутствие проверок и фильтрации пользовательского ввода. В Google от комментариев воздержались, но исследование вызвало там интерес.

Сами авторы Morris II ожидают атак с использованием аналогов их лабораторного образца в ближайшие два-три года. Ввиду новой угрозы разработчикам ИИ-помощников рекомендуется заранее учитывать риски, а пользователям — никогда не оставлять таких ассистентов без присмотра.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

В России установлен рекорд по блокировке вредоносных сайтов

В октябре в России было заблокировано 8254 вредоносных сайта — это в полтора раза больше, чем за тот же период прошлого года. Большую часть (около 6 тыс.) составили фишинговые ресурсы. Как отметил аналитик Координационного центра доменов .RU/.РФ Евгений Панков, их количество утроилось по сравнению с началом года.

Такую статистику привели «Известиям» в Координационном центре доменов .RU/.РФ.

«Рост активности мошенников напрямую связан с приближением массовых распродаж — таких, как “11.11”, к которой приурочено множество рекламных кампаний, и следующей за ней “черной пятницы”. В погоне за скидками пользователи теряют бдительность и чаще переходят по фишинговым ссылкам», — пояснил Евгений Панков.

Кроме того, злоумышленники активизировались в попытках «угнать» аккаунты в Telegram. По словам ведущего аналитика исследовательской группы Positive Technologies Яны Авезовой, применяемые ими методы становятся всё более изощрёнными.

Чаще всего используется схема с фейковыми подарками. Пользователям приходят сообщения с фишинговыми ссылками, обещающими бесплатную подписку Telegram Premium. Ссылки рассылаются с уже скомпрометированных аккаунтов, а переход по ним приводит к краже данных и потере профиля. Дизайн таких страниц тщательно копирует фирменный стиль Telegram. Кроме того, по словам Авезовой, злоумышленники всё чаще используют дипфейки — подделывают лица и голоса знакомых или сотрудников техподдержки, чтобы вызвать доверие.

Директор по развитию технологий ИИ компании Swordfish Security Юрий Шабалин подчеркнул, что киберпреступники активно применяют нейросетевые технологии. Они позволяют создавать точные копии легитимных сайтов, подделывать голоса и видео. По мере появления новых сервисов качество дипфейков растёт, и распознать их становится всё сложнее.

Член комитета Госдумы по информационной политике, информационным технологиям и связи, федеральный координатор проекта «Цифровая Россия» Антон Немкин отметил, что ситуация усугубляется снижением порога входа на киберпреступный рынок. Этому способствует рост предложения готовых инструментов для фишинговых атак и развитие рынка сбыта похищенных данных.

По мнению Немкина, борьба с подобными угрозами не ограничивается действиями государства и профильных организаций — важную роль играет цифровая грамотность самих пользователей. Чтобы снизить риски, необходимо повышать их осведомлённость о фишинговых схемах и способах защиты от них.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru