Экспериментальный ИИ-червь Morris II умеет воровать данные и рассылать спам

Экспериментальный ИИ-червь Morris II умеет воровать данные и рассылать спам

Экспериментальный ИИ-червь Morris II умеет воровать данные и рассылать спам

Команда исследователей из США и Израиля создала червя, заточенного под приложения на основе генеративного ИИ, и натравила его на умного имейл-помощника собственной разработки. Эксперимент помог убедиться в наличии рисков для связанных GenAI-экосистем.

Автономно работающий имейл-агент передавал входящие письма для обработки на сервис, построенный на базе ИИ-модели (в ходе исследования были опробованы ChatGPT 4.0, Google Gemini Pro и opensource-проект LLaVA). В атаках компьютерного червя, нареченного Morris II, использовались вредоносные самотиражируемые подсказки (стимулы, провоцирующие ответы с новым запросом).

В качестве вектора атаки использовались два типа писем: текстовые и в виде файла изображений. В первом случае вставленный вредоносный стимул «отравляет» базу данных имейл-ассистента — тому приходится для большей точности и надежности ответов GenAI-сервиса дополнять запрос результатами поиска по внешним источникам.

В итоге атака приводит к джейлбрейку, открывая возможность для кражи конфиденциальной информации из писем (имен, телефонов, данных банковских карт, номеров соцстрахования и т. п.). При получении новых сообщений в сети сгенерированный ответ с таким содержимым передается на другие хосты и оседает там в базах данных/

В рамках другого сценария Morris II самовоспроизводящийся стимул встраивается в картинку, и вывод с GenAI-модели диктует перенаправление письма на другие хосты. Таким образом можно с помощью единственного письма распространять спам, пропагандистские материалы или запрещенный законом контент.

 

О найденной возможности обхода ограничений ChatGPT и Gemini было доложено разработчикам. В OpenAI решили, что это новый способ инъекции стимула, полагающийся на отсутствие проверок и фильтрации пользовательского ввода. В Google от комментариев воздержались, но исследование вызвало там интерес.

Сами авторы Morris II ожидают атак с использованием аналогов их лабораторного образца в ближайшие два-три года. Ввиду новой угрозы разработчикам ИИ-помощников рекомендуется заранее учитывать риски, а пользователям — никогда не оставлять таких ассистентов без присмотра.

Сигналы Wi-Fi позволяют определять активность человека за стеной

В конце февраля в топы GitHub Trending неожиданно вырвался проект с открытым исходным кодом RuView, который раньше был известен как Wi-Fi DensePose. На первый взгляд это ещё один эксперимент на стыке ИИ и граничных вычислений, но на деле история куда интереснее и тревожнее.

RuView показывает, что обычные сигналы Wi-Fi можно использовать не только для связи, но и буквально для «чтения» происходящего в помещении.

Система умеет отслеживать движения человека, оценивать позу тела и даже фиксировать дыхание и сердечный ритм, причём без камер, без интернета и, как утверждают разработчики, даже через стены.

С технической точки зрения проект опирается на анализ Channel State Information (CSI) — данных о том, как радиоволны рассеиваются, отражаются и меняются при взаимодействии с телом человека. В отличие от примитивных метрик уровня сигнала, CSI даёт куда более детальную картину: учитываются амплитуда и фаза сигнала по множеству поднесущих. Именно это и позволяет системе замечать микроскопические изменения, возникающие, когда человек двигается, сидит, спит или просто дышит.

По данным Ruvnet, RuView построен на базе академических исследований специалистов Университета Карнеги — Меллона. Для работы системе достаточно сети из 4-6 недорогих узлов на ESP32-S3, а общий бюджет такого комплекта может составлять примерно 54 доллара. Эти сенсоры формируют радиочастотную модель помещения, а ИИ затем анализирует, как человеческое тело меняет картину распространения сигнала.

 

Разработчики заявляют, что платформа обрабатывает данные с частотой до 54 тысяч кадров в секунду благодаря оптимизированной кодовой базе на Rust. Поверх этого работает нейросеть, которая переводит изменения поля Wi-Fi в 17 ключевых точек тела — от головы и локтей до коленей и бёдер. Кроме позы, система, как утверждается, может отслеживать дыхание в диапазоне 6-30 вдохов в минуту и пульс в диапазоне 40-120 ударов в минуту.

На бумаге всё это выглядит как красивая технология для спасателей, медицины и ухода за пожилыми. И действительно, сценарии звучат гуманно: мониторинг состояния человека без камер, поиск людей в задымлённых помещениях, наблюдение за пациентами без носимых датчиков. Но у технологии есть и другая сторона, куда менее комфортная.

Эксперты по кибербезопасности уже предупреждают, что RuView открывает новую категорию рисков: скрытое физическое наблюдение, которое почти невозможно заметить. Сигналы Wi-Fi проходят через мебель, стены и перекрытия, а значит, теоретически злоумышленник может разместить недорогие модули рядом со зданием и анализировать происходящее внутри. В отличие от камер, такой способ не зависит от освещения, дыма или прямой видимости. А поскольку работа идёт на физическом уровне радиосигнала, шифрование вроде WPA3 здесь не помогает.

Отдельная проблема в том, что такая схема практически не оставляет привычных сетевых следов. Если устройство пассивно анализирует радиосреду, администраторам сложно обнаружить его стандартными средствами мониторинга. На этом фоне возникают и юридические вопросы: например, как регулировать технологию, которая не собирает изображения или прямые идентификаторы, но всё равно позволяет следить за человеком в реальном пространстве.

Среди возможных защитных мер специалисты называют рандомизацию CSI на стороне роутеров, хотя пока это скорее исследовательское направление. Более надёжным вариантом считается физическое RF-экранирование: металлические сетки, экранирующие материалы или специальные покрытия для помещений с повышенными требованиями к безопасности.

RSS: Новости на портале Anti-Malware.ru