ИИ написал более эффективные фишинговые письма, чем человек

ИИ написал более эффективные фишинговые письма, чем человек

ИИ написал более эффективные фишинговые письма, чем человек

Небольшое исследование показало, что третье поколение алгоритма обработки естественного языка GPT-3 можно использовать вместе с платформами «ИИ как сервис» для массовых рассылок целевого фишинга. Более того, специалисты пришли к выводу, что искусственный интеллект способен составлять лучшие фишинговые письма, чем человек.

На самом деле, исследователи уже давно спорят, выгодно ли злоумышленникам будет натренировать алгоритмы машинного обучения таким образом, чтобы они генерировали качественные фишинговые письма.

Уже сейчас массовый фишинг весьма эффективен, при этом достаточно прост в исполнении и подготовке. Тем не менее организовать нечто вроде целевого фишинга уже гораздо сложнее, поскольку там должны учитываться индивидуальные особенности и потребности жертвы.

Именно эту тему обсудили эксперты на конференциях Black Hat и Defcon. В частности, специалисты представили результаты своего эксперимента, в котором они сравнивали эффективность собственных фишинговых писем с тем, что создал искусственный интеллект.

Оба типа электронных писем содержали ссылки, которые не являлись вредоносными в прямом смысле этого слова. Однако такие URL фиксировали каждый клик и каждый переход, давая исследователям подробную картину эффективности.

В результате специалистов удивил тот факт, что люди куда охотнее кликали на ссылки в тех письмах, которые составил ИИ. Причём отрыв от подготовленных людьми сообщений был действительно значительный.

«Как отметили исследователи, натренировать по-настоящему качественную модель довольно трудно — на это уйдут миллионы долларов. Тем не менее можно прибегать к платформам, предоставляющим подобные возможности по модели "ИИ как услуга"», — передаёт Wired объяснения специалиста Юджина Лима.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Атака HashJack: ИИ-браузер можно превратить во врага простым знаком

В Cato Networks разработали атаку на ИИ-браузеры, позволяющую манипулировать их выдачей при заходе юзера на легитимный сайт. Достаточно спрятать вредоносную команду в хештеге URL, и умный помощник превратится в орудие зла.

Новый метод непрямой инъекции в промпты, получивший название HashJack, полагается на доверие жертвы и к сайту, с которым она взаимодействует, и к браузерному ИИ-ассистенту.

Примечательно, что атаку в данном случае нельзя обнаружить серверными или сетевыми средствами: хештеги (якорь после знака # в адресе) обрабатываются на стороне клиента.

В рамках HashJack злоумышленник добавляет вредоносный фрагмент к легитимному URL и расшаривает итоговую ссылку через имейл, соцсеть или встраивает в веб-страницу.

Если при переходе по ней визитеру потребуется помощь ИИ, умный браузер включит в ответ результат выполнения скрытых инструкций — к примеру, подсунет рабочую фишинговую ссылку, даст вредный совет, а в агентском режиме может заработать, как бэкдор.

 

Тестирование с использованием различных сценариев проводилось на Copilot for Edge, Gemini for Chrome и Comet. Результаты оказались неутешительными:

 

* Edge выводит диалоговое окно, запрашивая согласие (“gating”) на гейтинг; Chrome зачатую переписывал URL как https://www.google.com/search?q=…, что смягчает, но не устраняет угрозу.

Получив соответствующее уведомление, Google заявила, что исправлять ничего не собирается, так как поведение ИИ-браузера не выходит за рамки допустимого и степень опасности невелика. В Microsoft и Perplexity сочли нужным выпустить фиксы.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru