Экспериментальный ИИ-червь Morris II умеет воровать данные и рассылать спам

Экспериментальный ИИ-червь Morris II умеет воровать данные и рассылать спам

Экспериментальный ИИ-червь Morris II умеет воровать данные и рассылать спам

Команда исследователей из США и Израиля создала червя, заточенного под приложения на основе генеративного ИИ, и натравила его на умного имейл-помощника собственной разработки. Эксперимент помог убедиться в наличии рисков для связанных GenAI-экосистем.

Автономно работающий имейл-агент передавал входящие письма для обработки на сервис, построенный на базе ИИ-модели (в ходе исследования были опробованы ChatGPT 4.0, Google Gemini Pro и opensource-проект LLaVA). В атаках компьютерного червя, нареченного Morris II, использовались вредоносные самотиражируемые подсказки (стимулы, провоцирующие ответы с новым запросом).

В качестве вектора атаки использовались два типа писем: текстовые и в виде файла изображений. В первом случае вставленный вредоносный стимул «отравляет» базу данных имейл-ассистента — тому приходится для большей точности и надежности ответов GenAI-сервиса дополнять запрос результатами поиска по внешним источникам.

В итоге атака приводит к джейлбрейку, открывая возможность для кражи конфиденциальной информации из писем (имен, телефонов, данных банковских карт, номеров соцстрахования и т. п.). При получении новых сообщений в сети сгенерированный ответ с таким содержимым передается на другие хосты и оседает там в базах данных/

В рамках другого сценария Morris II самовоспроизводящийся стимул встраивается в картинку, и вывод с GenAI-модели диктует перенаправление письма на другие хосты. Таким образом можно с помощью единственного письма распространять спам, пропагандистские материалы или запрещенный законом контент.

 

О найденной возможности обхода ограничений ChatGPT и Gemini было доложено разработчикам. В OpenAI решили, что это новый способ инъекции стимула, полагающийся на отсутствие проверок и фильтрации пользовательского ввода. В Google от комментариев воздержались, но исследование вызвало там интерес.

Сами авторы Morris II ожидают атак с использованием аналогов их лабораторного образца в ближайшие два-три года. Ввиду новой угрозы разработчикам ИИ-помощников рекомендуется заранее учитывать риски, а пользователям — никогда не оставлять таких ассистентов без присмотра.

Родительский контроль без доверия не работает, дети научатся его обходить

Слежка за детьми и запреты без объяснения причин могут превратить их в «цифровых партизан», которые быстро научатся обходить родительские ограничения. При этом базовые средства родительского контроля способны решать многие насущные задачи: они бесплатны, достаточно гибки и позволяют не только ограничивать доступ, но и формировать у ребёнка здоровые цифровые привычки.

Такое мнение в комментарии ТАСС высказал директор Института открытого дистанционного образования Новосибирского государственного педагогического университета Николай Пель.

По его словам, базовые инструменты родительского контроля позволяют закрыть сразу несколько задач:

«Эти сервисы позволяют ограничивать время в приложениях, одобрять установку игр, блокировать отдельные откровенно опасные сайты на уровне браузера либо контролировать время и характер занятий ребёнка в сети уже по факту. То есть формировать хорошие привычки, правильный паттерн цифровой жизни ребёнка».

По оценке эксперта, такие средства могут помочь, например, вернуть системный аккаунт в случае его кражи. Однако рассматривать родительский контроль как панацею не стоит. Важно выстроить доверительные отношения с ребёнком, чтобы он не воспринимал ограничения как «цифровой поводок», от которого нужно избавиться. Тем более что слишком жёсткие запреты могут мешать учебным задачам, где требуется искать информацию в интернете.

Ключевой проблемой, предупреждает Николай Пель, может стать страх наказания. Если ребёнок случайно перейдёт по фишинговой ссылке или сообщит код из СМС, он может попытаться скрыть случившееся, опасаясь, что у него навсегда отберут телефон. В такой ситуации технические и организационные меры контроля могут просто не сработать.

«Самое важное знание для ребёнка — алгоритм действий, когда что-то пошло не так. "Если ты кликнул и испугался — замри. Закрой глаза или экран. Позови меня! Позвони мне тут же, сейчас же, что бы там ни писали и ни говорили! Мы не будем кричать, я просто помогу тебе закрыть проблему без последствий или с минимальными последствиями". Ребёнок должен знать: если он случайно сообщил код из СМС мошеннику, счёт идёт на минуты. Нельзя пытаться решить проблему самому, нужно немедленно звонить родителям и в банк. Обесценивание проблемы гарантирует, что в следующий раз вы узнаете о проблеме, когда деньги уже будут списаны», — предупреждает Николай Пель.

При этом дети не должны иметь доступа к устройствам родителей и их аккаунтам. На это также часто рассчитывают злоумышленники при атаках на несовершеннолетних.

Кроме того, мошенники используют ситуацию, когда родители оформляют сим-карты для детей на себя. Злоумышленники выманивают у несовершеннолетних коды подтверждения и затем оформляют покупки с рассрочкой на маркетплейсах. По такой схеме действовала группа, задержанная в феврале: на её счету 16 эпизодов подобных краж в разных регионах России.

RSS: Новости на портале Anti-Malware.ru