Экспериментальный ИИ-червь Morris II умеет воровать данные и рассылать спам

Экспериментальный ИИ-червь Morris II умеет воровать данные и рассылать спам

Экспериментальный ИИ-червь Morris II умеет воровать данные и рассылать спам

Команда исследователей из США и Израиля создала червя, заточенного под приложения на основе генеративного ИИ, и натравила его на умного имейл-помощника собственной разработки. Эксперимент помог убедиться в наличии рисков для связанных GenAI-экосистем.

Автономно работающий имейл-агент передавал входящие письма для обработки на сервис, построенный на базе ИИ-модели (в ходе исследования были опробованы ChatGPT 4.0, Google Gemini Pro и opensource-проект LLaVA). В атаках компьютерного червя, нареченного Morris II, использовались вредоносные самотиражируемые подсказки (стимулы, провоцирующие ответы с новым запросом).

В качестве вектора атаки использовались два типа писем: текстовые и в виде файла изображений. В первом случае вставленный вредоносный стимул «отравляет» базу данных имейл-ассистента — тому приходится для большей точности и надежности ответов GenAI-сервиса дополнять запрос результатами поиска по внешним источникам.

В итоге атака приводит к джейлбрейку, открывая возможность для кражи конфиденциальной информации из писем (имен, телефонов, данных банковских карт, номеров соцстрахования и т. п.). При получении новых сообщений в сети сгенерированный ответ с таким содержимым передается на другие хосты и оседает там в базах данных/

В рамках другого сценария Morris II самовоспроизводящийся стимул встраивается в картинку, и вывод с GenAI-модели диктует перенаправление письма на другие хосты. Таким образом можно с помощью единственного письма распространять спам, пропагандистские материалы или запрещенный законом контент.

 

О найденной возможности обхода ограничений ChatGPT и Gemini было доложено разработчикам. В OpenAI решили, что это новый способ инъекции стимула, полагающийся на отсутствие проверок и фильтрации пользовательского ввода. В Google от комментариев воздержались, но исследование вызвало там интерес.

Сами авторы Morris II ожидают атак с использованием аналогов их лабораторного образца в ближайшие два-три года. Ввиду новой угрозы разработчикам ИИ-помощников рекомендуется заранее учитывать риски, а пользователям — никогда не оставлять таких ассистентов без присмотра.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Магнит и Avanpost внедрили систему для управления сертификатами ЭП

Розничная сеть «Магнит» совместно с Avanpost завершила проект по внедрению централизованной системы управления сертификатами электронной подписи и средствами криптографической защиты. Решение позволяет автоматизировать выпуск, продление и перевыпуск сертификатов, которые используются, в частности, для работы с ЕГАИС в торговых точках.

По данным компаний, система охватывает более 20 тысяч объектов сети на территории европейской части России и помогает снизить риски простоев при учёте и продаже алкоголя.

Под управление платформы было взято около 30 тысяч средств защиты информации, а агенты системы развернули на более чем 20 тысяч рабочих мест.

Проект предусматривает централизованное управление электронными подписями, контроль операций с ними и аудит действий сотрудников. Система также отслеживает сроки действия сертификатов и автоматически запускает процессы продления или массового перевыпуска — при необходимости до тысячи сертификатов в сутки.

Сотрудники «Магнита» получили личный кабинет, где можно дистанционно проверять статус сертификата, обновлять его или отзывать без посещения удостоверяющего центра. Возможность удалённой работы с документами реализована с учётом требований российского законодательства.

В рамках проекта Avanpost PKI интегрировали с основными корпоративными системами, включая 1С, Active Directory, КриптоПро, СМЭВ, HR MDM, а также с SIEM- и SOAR-платформами для мониторинга событий безопасности.

Срок реализации проекта — 2024-2025 годы.

Мария Дордий, руководитель отдела СКЗИ в «Магните», так описывает результаты:

«Проект по автоматизации выпуска электронных подписей в нашей розничной сети был направлен на повышение контроля, прозрачности и безопасности операций с ЭП и СКЗИ. Благодаря внедрению системы Avanpost PKI мы решили важнейшие задачи: централизовали управление СЗИ, СКЗИ и сертификатами и сократили время получения электронной подписи для наших сотрудников. Мы реализовали автоматизированные процессы одиночного и массового перевыпуска сертификатов, что критически важно для нашей масштабной сети с учетом разницы часовых поясов РФ и позволяет системе перевыпускать 1000 и более сертификатов в день. Снижение времени на получение и оперативный перевыпуск ЭП нивелирует риски простоя касс и продаж на торговых объектах. Кроме того, сотрудники получили удобный личный кабинет, позволяющий дистанционно контролировать сроки действия и обновлять сертификат. Создание гибкой ролевой модели доступа, формирование бизнес-процессов согласования, ведение журналов событий и аудит инцидентов ИБ позволили нам соблюсти требования регуляторов и контролировать нелегитимные операции, значительно повысив информационную безопасность».

Евгений Галкин, директор продуктовых направлений кибербезопасности и криптографии Avanpost, отметил:

«Автоматизация управления сертификатами для 20000 торговых объектов „Магнит“ — это по-настоящему масштабный и, что важно, уникальный для России проект. Совместно с коллегами из "Магнита" нам удалось создать централизованную систему, способную управлять сертификатами, обеспечивая их выпуск, установку на устройстве клиента с агентом Avanpost PKI, аннулирование, обновление по истечению срока и массовый перевыпуск. Мы гордимся, что построили такую систему на федеральном масштабе и фактически устранили риск остановки продаж алкоголя из-за просроченных сертификатов. В таком объеме и с такой степенью автоматизации наше решение является эксклюзивным на рынке, что подтверждает наше технологическое лидерство в сфере ретейла».

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru