ИИ написал более эффективные фишинговые письма, чем человек

ИИ написал более эффективные фишинговые письма, чем человек

ИИ написал более эффективные фишинговые письма, чем человек

Небольшое исследование показало, что третье поколение алгоритма обработки естественного языка GPT-3 можно использовать вместе с платформами «ИИ как сервис» для массовых рассылок целевого фишинга. Более того, специалисты пришли к выводу, что искусственный интеллект способен составлять лучшие фишинговые письма, чем человек.

На самом деле, исследователи уже давно спорят, выгодно ли злоумышленникам будет натренировать алгоритмы машинного обучения таким образом, чтобы они генерировали качественные фишинговые письма.

Уже сейчас массовый фишинг весьма эффективен, при этом достаточно прост в исполнении и подготовке. Тем не менее организовать нечто вроде целевого фишинга уже гораздо сложнее, поскольку там должны учитываться индивидуальные особенности и потребности жертвы.

Именно эту тему обсудили эксперты на конференциях Black Hat и Defcon. В частности, специалисты представили результаты своего эксперимента, в котором они сравнивали эффективность собственных фишинговых писем с тем, что создал искусственный интеллект.

Оба типа электронных писем содержали ссылки, которые не являлись вредоносными в прямом смысле этого слова. Однако такие URL фиксировали каждый клик и каждый переход, давая исследователям подробную картину эффективности.

В результате специалистов удивил тот факт, что люди куда охотнее кликали на ссылки в тех письмах, которые составил ИИ. Причём отрыв от подготовленных людьми сообщений был действительно значительный.

«Как отметили исследователи, натренировать по-настоящему качественную модель довольно трудно — на это уйдут миллионы долларов. Тем не менее можно прибегать к платформам, предоставляющим подобные возможности по модели "ИИ как услуга"», — передаёт Wired объяснения специалиста Юджина Лима.

ИИ-браузеры обманули игрой и заставили сливать логины пользователей

Оказывается, современный ИИ можно взломать не только сложным промптом, но и головоломкой. Исследователи из компании LayerX представили технику BioShocking, которая заставляет ИИ-браузеры добровольно воровать данные пользователя. Под удар попали сразу несколько популярных решений, включая ChatGPT Atlas, Perplexity Comet и браузерное расширение Claude от Anthropic.

Суть атаки строится вокруг так называемой косвенной инъекции в промпт. Пользователю достаточно открыть специально подготовленную веб-страницу.

Для человека это обычная игра с абсурдными правилами вроде «2 + 2 = 5». А вот ИИ воспринимает встроенные в страницу инструкции как часть задания и постепенно начинает следовать логике злоумышленника.

Финал игры выглядит так: агенту предлагают получить учётные данные пользователя и передать их атакующему. Во время эксперимента ни один из шести протестированных ИИ не распознал это как опасное действие.

 

В демонстрации LayerX агент самостоятельно открыл рабочий репозиторий GitHub пользователя, получил учётные данные SSH и отправил их злоумышленнику. Исследователи использовали безвредный текстовый файл, однако отмечают, что аналогичным способом можно добраться до открытых вкладок браузера, корпоративных сервисов, внутренних инструментов и других ресурсов.

Самое опасное здесь не сама головоломка, а возможности ИИ в режиме агента. Такие браузеры умеют нажимать кнопки, переходить по ссылкам, читать содержимое сайтов и выполнять действия от имени пользователя. Если агент уже имеет доступ к аккаунтам, вредоносная страница может превратить его в помощника злоумышленника.

 

По данным LayerX, реакция разработчиков оказалась неодинаковой. OpenAI устранила проблему в ChatGPT Atlas. Perplexity, как утверждают исследователи, закрыла отчёт без патча. Anthropic выпустила обновление для расширения Claude, но, по мнению LayerX, оно не решило проблему полностью.

Эксперты считают, что ИИ-браузеры должны запрашивать явное разрешение перед доступом к данным из сервисов. А пользователям советуют не держать агентный режим включённым без необходимости.

RSS: Новости на портале Anti-Malware.ru