ИИ написал более эффективные фишинговые письма, чем человек

ИИ написал более эффективные фишинговые письма, чем человек

ИИ написал более эффективные фишинговые письма, чем человек

Небольшое исследование показало, что третье поколение алгоритма обработки естественного языка GPT-3 можно использовать вместе с платформами «ИИ как сервис» для массовых рассылок целевого фишинга. Более того, специалисты пришли к выводу, что искусственный интеллект способен составлять лучшие фишинговые письма, чем человек.

На самом деле, исследователи уже давно спорят, выгодно ли злоумышленникам будет натренировать алгоритмы машинного обучения таким образом, чтобы они генерировали качественные фишинговые письма.

Уже сейчас массовый фишинг весьма эффективен, при этом достаточно прост в исполнении и подготовке. Тем не менее организовать нечто вроде целевого фишинга уже гораздо сложнее, поскольку там должны учитываться индивидуальные особенности и потребности жертвы.

Именно эту тему обсудили эксперты на конференциях Black Hat и Defcon. В частности, специалисты представили результаты своего эксперимента, в котором они сравнивали эффективность собственных фишинговых писем с тем, что создал искусственный интеллект.

Оба типа электронных писем содержали ссылки, которые не являлись вредоносными в прямом смысле этого слова. Однако такие URL фиксировали каждый клик и каждый переход, давая исследователям подробную картину эффективности.

В результате специалистов удивил тот факт, что люди куда охотнее кликали на ссылки в тех письмах, которые составил ИИ. Причём отрыв от подготовленных людьми сообщений был действительно значительный.

«Как отметили исследователи, натренировать по-настоящему качественную модель довольно трудно — на это уйдут миллионы долларов. Тем не менее можно прибегать к платформам, предоставляющим подобные возможности по модели "ИИ как услуга"», — передаёт Wired объяснения специалиста Юджина Лима.

Подпишитесь на новости

В России сформулировали главную проблему ИИ — у него нет страха

Искусственному интеллекту не хватает страха перед ошибкой. Такую мысль высказал заместитель главы Минцифры России Александр Шойтов на конференции BIS Summit, посвящённой информационной безопасности бизнеса и ИТ.

«В ИИ нужно встроить систему страха, чтобы он боялся совершить ошибку, как человек», — заявил Шойтов в ходе дискуссии.

Речь, конечно, не о дрожащей нейросети, которая перед каждым ответом вспоминает ипотеку и разговор с начальником. Под страхом можно понимать встроенный механизм сомнения: способность модели оценивать последствия своих действий, признавать нехватку данных и останавливаться, если цена ошибки слишком высока.

Сейчас генеративный ИИ способен уверенно выдавать неверные ответы, придумывать факты и выполнять опасные команды без человеческого ощущения риска.

Для обычного чат-бота это заканчивается галлюцинацией, а для ИИ-агента с доступом к корпоративным системам — удалёнными файлами, утечкой данных или нарушением работы инфраструктуры.

На BIS Summit прозвучала и ещё более амбициозная идея — встроить в ИИ-модели совесть. Её озвучил Николай Лишин, заместитель руководителя ФМБА России. Если страх должен удерживать систему от ошибки, то совесть, по такой логике, должна помогать оценивать допустимость самого действия.

Получается своеобразный технический портрет идеального ИИ: достаточно умный, чтобы решить задачу, достаточно напуганный, чтобы всё перепроверить, и достаточно совестливый, чтобы вовремя отказаться. Осталось только написать для этого техническое задание.

RSS: Новости на портале Anti-Malware.ru