Экспериментальный ИИ-червь Morris II умеет воровать данные и рассылать спам

Экспериментальный ИИ-червь Morris II умеет воровать данные и рассылать спам

Экспериментальный ИИ-червь Morris II умеет воровать данные и рассылать спам

Команда исследователей из США и Израиля создала червя, заточенного под приложения на основе генеративного ИИ, и натравила его на умного имейл-помощника собственной разработки. Эксперимент помог убедиться в наличии рисков для связанных GenAI-экосистем.

Автономно работающий имейл-агент передавал входящие письма для обработки на сервис, построенный на базе ИИ-модели (в ходе исследования были опробованы ChatGPT 4.0, Google Gemini Pro и opensource-проект LLaVA). В атаках компьютерного червя, нареченного Morris II, использовались вредоносные самотиражируемые подсказки (стимулы, провоцирующие ответы с новым запросом).

В качестве вектора атаки использовались два типа писем: текстовые и в виде файла изображений. В первом случае вставленный вредоносный стимул «отравляет» базу данных имейл-ассистента — тому приходится для большей точности и надежности ответов GenAI-сервиса дополнять запрос результатами поиска по внешним источникам.

В итоге атака приводит к джейлбрейку, открывая возможность для кражи конфиденциальной информации из писем (имен, телефонов, данных банковских карт, номеров соцстрахования и т. п.). При получении новых сообщений в сети сгенерированный ответ с таким содержимым передается на другие хосты и оседает там в базах данных/

В рамках другого сценария Morris II самовоспроизводящийся стимул встраивается в картинку, и вывод с GenAI-модели диктует перенаправление письма на другие хосты. Таким образом можно с помощью единственного письма распространять спам, пропагандистские материалы или запрещенный законом контент.

 

О найденной возможности обхода ограничений ChatGPT и Gemini было доложено разработчикам. В OpenAI решили, что это новый способ инъекции стимула, полагающийся на отсутствие проверок и фильтрации пользовательского ввода. В Google от комментариев воздержались, но исследование вызвало там интерес.

Сами авторы Morris II ожидают атак с использованием аналогов их лабораторного образца в ближайшие два-три года. Ввиду новой угрозы разработчикам ИИ-помощников рекомендуется заранее учитывать риски, а пользователям — никогда не оставлять таких ассистентов без присмотра.

Шпионский троян CastleRAT вступил в Steam-сообщество ради связи с C2

Объявившийся в марте этого года Windows-бэкдор CastleRAT существует в двух вариантах: один написан на Python, другой скомпилирован на C. Последний ловчее прячется в системе и обладает более широкими возможностями.

В компании Splunk (собственность Cisco) подвергли анализу пару C-образцов CastleRAT и выяснили, что для управления трояном используются специально созданные публичные профили Steam.

При запуске вредонос собирает системные данные (имя компьютера, имя пользователя, GUID машины, название продукта) и обращается к бесплатному сервису www[.]ip-api[.]com для получения IP-адреса жертвы. Собранная информация отсылается на C2-сервер в подтверждение успешного заражения.

Основной задачей CastleRAT является обеспечение удаленного шелл-доступа к хосту. Зловред также умеет по команде выполнять следующие задачи:

  • составление списка запущенных процессов;
  • кейлоггинг;
  • копирование истории браузера (Microsoft Edge, Google Chrome, Brave, Firefox);
  • кража учетных данных и адресов криптокошельков из буфера обмена;
  • захват экрана (скриншоты выполняются в фоне и с заданной периодичностью);
  • включение / выключение микрофона и веб-камеры;
  • вывод поддельного диалогового окна с целью заставить жертву совершить искомое действие (вбить команду, путь к файлу, учетные данные);
  • останов и повторный запуск браузера с нужными флагами (–mute-audio, –do-not-de-elevate и проч.) в обеспечение скрытного мониторинга и контроля пользовательских сессий;
  • повышение привилегий в обход UAC (с этой целью используется UUID службы Appinfo для запуска доверенного ComputerDefaults.exe на более высоком уровне);
  • загрузка и запуск (с помощью rundll32.exe) дополнительных плагинов.

Чтобы обеспечить себе постоянное присутствие в системе, CastleRAT создает запланированное задание на запуск своей копии при каждой загрузке Windows.

Использование Steam позволяет операторам зловреда скрыть C2-коммуникации в легитимном веб-трафике. Всю релевантную информацию (конфигурация, команды) они постят на страницах игрового комьюнити прямым текстом либо в виде ссылок.

 

Обмен вредоноса с C2 осуществляется с использованием RC4. Ключ для шифрования / расшифровки данных жестко прописан в коде CastleRAT.

RSS: Новости на портале Anti-Malware.ru