Экспериментальный ИИ-червь Morris II умеет воровать данные и рассылать спам

Экспериментальный ИИ-червь Morris II умеет воровать данные и рассылать спам

Экспериментальный ИИ-червь Morris II умеет воровать данные и рассылать спам

Команда исследователей из США и Израиля создала червя, заточенного под приложения на основе генеративного ИИ, и натравила его на умного имейл-помощника собственной разработки. Эксперимент помог убедиться в наличии рисков для связанных GenAI-экосистем.

Автономно работающий имейл-агент передавал входящие письма для обработки на сервис, построенный на базе ИИ-модели (в ходе исследования были опробованы ChatGPT 4.0, Google Gemini Pro и opensource-проект LLaVA). В атаках компьютерного червя, нареченного Morris II, использовались вредоносные самотиражируемые подсказки (стимулы, провоцирующие ответы с новым запросом).

В качестве вектора атаки использовались два типа писем: текстовые и в виде файла изображений. В первом случае вставленный вредоносный стимул «отравляет» базу данных имейл-ассистента — тому приходится для большей точности и надежности ответов GenAI-сервиса дополнять запрос результатами поиска по внешним источникам.

В итоге атака приводит к джейлбрейку, открывая возможность для кражи конфиденциальной информации из писем (имен, телефонов, данных банковских карт, номеров соцстрахования и т. п.). При получении новых сообщений в сети сгенерированный ответ с таким содержимым передается на другие хосты и оседает там в базах данных/

В рамках другого сценария Morris II самовоспроизводящийся стимул встраивается в картинку, и вывод с GenAI-модели диктует перенаправление письма на другие хосты. Таким образом можно с помощью единственного письма распространять спам, пропагандистские материалы или запрещенный законом контент.

 

О найденной возможности обхода ограничений ChatGPT и Gemini было доложено разработчикам. В OpenAI решили, что это новый способ инъекции стимула, полагающийся на отсутствие проверок и фильтрации пользовательского ввода. В Google от комментариев воздержались, но исследование вызвало там интерес.

Сами авторы Morris II ожидают атак с использованием аналогов их лабораторного образца в ближайшие два-три года. Ввиду новой угрозы разработчикам ИИ-помощников рекомендуется заранее учитывать риски, а пользователям — никогда не оставлять таких ассистентов без присмотра.

Аэрофлот и Сбер хотят подключить ИИ-агентов к покупке поездок

Аэрофлот и Сбер договорились вместе разрабатывать решения для транспортной отрасли на основе генеративного искусственного интеллекта. Соглашение подписали на ПМЭФ-2026 гендиректор Аэрофлота Сергей Александровский и глава Сбербанка Герман Греф.

Партнёрство рассчитано на три года. За это время компании планируют обмениваться опытом, тестировать цифровые продукты и внедрять сервисы для автоматизации бизнес-процессов. Отдельный акцент сделают на технологиях ИИ.

Самая интересная часть соглашения — идея связать интеллектуальных ИИ-агентов Аэрофлота и Сбера в единую экосистему. По задумке, такие агенты смогут взаимодействовать друг с другом напрямую, без человека-оператора, и решать комплексные задачи в реальном времени.

На практике это может привести к появлению более цельного клиентского сценария. Например, пользователь выбирает рейс, оплачивает билет, оформляет страховку и покупает дополнительные тревел-услуги без прыжков между приложениями и без бесконечного повторного ввода одних и тех же данных.

Звучит как попытка наконец-то убрать из покупки поездки цифровую возню, к которой все давно привыкли. Потому что сейчас даже простой маршрут может превратиться в мини-квест: билет здесь, страховка там, ещё один сервис в отдельном окне, данные вводим заново, терпение теряем по дороге.

Пока речь идёт о развитии технологии и совместной работе, а не о готовом сервисе, который появится завтра утром. Но направление понятно: крупные игроки хотят встроить ИИ не только в чат-боты и поддержку, а в саму логику покупки и сопровождения поездки.

Если проект дойдёт до работающего продукта, ИИ-агенты смогут взять на себя часть рутины, а пользователю останется меньше кнопок, меньше форм и меньше раздражения. В тревеле это уже звучит почти как роскошь.

RSS: Новости на портале Anti-Malware.ru