Экспериментальный ИИ-червь Morris II умеет воровать данные и рассылать спам

Экспериментальный ИИ-червь Morris II умеет воровать данные и рассылать спам

Экспериментальный ИИ-червь Morris II умеет воровать данные и рассылать спам

Команда исследователей из США и Израиля создала червя, заточенного под приложения на основе генеративного ИИ, и натравила его на умного имейл-помощника собственной разработки. Эксперимент помог убедиться в наличии рисков для связанных GenAI-экосистем.

Автономно работающий имейл-агент передавал входящие письма для обработки на сервис, построенный на базе ИИ-модели (в ходе исследования были опробованы ChatGPT 4.0, Google Gemini Pro и opensource-проект LLaVA). В атаках компьютерного червя, нареченного Morris II, использовались вредоносные самотиражируемые подсказки (стимулы, провоцирующие ответы с новым запросом).

В качестве вектора атаки использовались два типа писем: текстовые и в виде файла изображений. В первом случае вставленный вредоносный стимул «отравляет» базу данных имейл-ассистента — тому приходится для большей точности и надежности ответов GenAI-сервиса дополнять запрос результатами поиска по внешним источникам.

В итоге атака приводит к джейлбрейку, открывая возможность для кражи конфиденциальной информации из писем (имен, телефонов, данных банковских карт, номеров соцстрахования и т. п.). При получении новых сообщений в сети сгенерированный ответ с таким содержимым передается на другие хосты и оседает там в базах данных/

В рамках другого сценария Morris II самовоспроизводящийся стимул встраивается в картинку, и вывод с GenAI-модели диктует перенаправление письма на другие хосты. Таким образом можно с помощью единственного письма распространять спам, пропагандистские материалы или запрещенный законом контент.

 

О найденной возможности обхода ограничений ChatGPT и Gemini было доложено разработчикам. В OpenAI решили, что это новый способ инъекции стимула, полагающийся на отсутствие проверок и фильтрации пользовательского ввода. В Google от комментариев воздержались, но исследование вызвало там интерес.

Сами авторы Morris II ожидают атак с использованием аналогов их лабораторного образца в ближайшие два-три года. Ввиду новой угрозы разработчикам ИИ-помощников рекомендуется заранее учитывать риски, а пользователям — никогда не оставлять таких ассистентов без присмотра.

Банки и корпорации чаще строят ИБ-решения сами, а не покупают у вендоров

Российские компании и банки, особенно крупные, всё чаще разрабатывают решения в области информационной безопасности собственными силами. Основной причиной такого подхода становится недовольство продуктами с открытого рынка: ряд участников прямо заявляет, что не готов приобретать сторонние решения из-за их несоответствия внутренним требованиям.

Эта тенденция явно проявилась на форуме «Территория безопасности», организованном группой ComNews.

Так, вице-президент «Т-Банка» Дмитрий Гадарь рассказал об опыте разработки SIEM-системы силами ИТ-департамента. Специалисты по ИБ подключились позже — уже на этапе создания правил корреляции и других функциональных модулей.

По словам Гадаря, около 90% пользователей системы составляют ИТ-специалисты: «Мы переводим в SIEM процессы управления инцидентами по данным, внутренний фрод, а также систему, предотвращающую попадание фродерских мобильных устройств в продукты. Это уже сервис для бизнеса, а не только для информационной безопасности. Для нас SIEM — гибкий инструмент».

Директор по информационной безопасности «Райффайзен Банка» Георгий Руденко среди причин перехода к собственной разработке назвал экономику и функциональность. В ряде случаев создание решений внутри компании обходится дешевле, чем покупка. Кроме того, критически важные функции в коммерческих продуктах иногда приходится ждать годами. В качестве примера он привёл внутреннюю платформу управления уязвимостями.

«ИБ-продукты — это ключевой инструмент защиты интеллектуальной собственности и ноу-хау, обеспечивающих конкурентные преимущества. Чем выше уровень защищённости бизнеса, тем выше его прибыль и привлекательность для инвесторов», — отметил директор дирекции по экономической безопасности «Диайпи», советник заместителя генерального директора по безопасности — начальника СЭБ «Трубной металлургической компании» (ТМК) Александр Савостьянов.

О собственных разработках и внедрении ИБ-инструментов также рассказали представители VK и Wildberries&Russ. В их числе — решения классов SIEM и ASPM.

Даже относительно небольшие компании идут по этому пути. Например, в HeadHunter, по словам директора по информационным технологиям и кибербезопасности Татьяны Фомичёвой, используются собственные инструменты защиты контейнерной инфраструктуры, хотя в целом компания по-прежнему опирается на тиражные решения.

При этом объём разработок, выполненных внутренними командами крупных компаний, по итогам 2025 года лишь незначительно уступил выручке независимых вендоров. Как отмечает президент ассоциации «Руссофт» Валентин Макаров, кэптивные разработчики уже создают серьёзную конкуренцию рынку — и эта конкуренция не всегда идёт ему на пользу.

RSS: Новости на портале Anti-Malware.ru