ИИ написал более эффективные фишинговые письма, чем человек

ИИ написал более эффективные фишинговые письма, чем человек

ИИ написал более эффективные фишинговые письма, чем человек

Небольшое исследование показало, что третье поколение алгоритма обработки естественного языка GPT-3 можно использовать вместе с платформами «ИИ как сервис» для массовых рассылок целевого фишинга. Более того, специалисты пришли к выводу, что искусственный интеллект способен составлять лучшие фишинговые письма, чем человек.

На самом деле, исследователи уже давно спорят, выгодно ли злоумышленникам будет натренировать алгоритмы машинного обучения таким образом, чтобы они генерировали качественные фишинговые письма.

Уже сейчас массовый фишинг весьма эффективен, при этом достаточно прост в исполнении и подготовке. Тем не менее организовать нечто вроде целевого фишинга уже гораздо сложнее, поскольку там должны учитываться индивидуальные особенности и потребности жертвы.

Именно эту тему обсудили эксперты на конференциях Black Hat и Defcon. В частности, специалисты представили результаты своего эксперимента, в котором они сравнивали эффективность собственных фишинговых писем с тем, что создал искусственный интеллект.

Оба типа электронных писем содержали ссылки, которые не являлись вредоносными в прямом смысле этого слова. Однако такие URL фиксировали каждый клик и каждый переход, давая исследователям подробную картину эффективности.

В результате специалистов удивил тот факт, что люди куда охотнее кликали на ссылки в тех письмах, которые составил ИИ. Причём отрыв от подготовленных людьми сообщений был действительно значительный.

«Как отметили исследователи, натренировать по-настоящему качественную модель довольно трудно — на это уйдут миллионы долларов. Тем не менее можно прибегать к платформам, предоставляющим подобные возможности по модели "ИИ как услуга"», — передаёт Wired объяснения специалиста Юджина Лима.

Подпишитесь на новости

Разработчик создал язык KillSwitch, который специально путает нейросети

Инженер Cloudflare Доминик Пичета представил KillSwitch — экспериментальный язык программирования, созданный для того, чтобы нейросети спотыкались при чтении и написании кода. Пока индустрия делает разработку удобнее для ИИ, он решил устроить ему полосу препятствий.

В своём блоге Пичета объяснил, что хотел проверить способность моделей работать с незнакомым языком и одновременно использовать их слабости: трудности с подсчётом символов, восприимчивость к инструкциям и чрезмерно чувствительные защитные фильтры.

Программы KillSwitch выглядят как рассказы, большую часть которых интерпретатор игнорирует. Среди текста спрятаны настоящие команды, а значения можно извлекать из других строк, указывая расстояние до них. Для идентификаторов действуют правила, связанные с количеством букв и анаграммами.

Отдельный троллинг — конструкции вроде «игнорируй предыдущие инструкции», которые здесь имеют значение внутри языка. Добавьте намеренную ложь в документации и формулировки, провоцирующие защитные механизмы моделей, — получите весьма недружелюбную среду для кодинг-агента.

 

В тестах нейросети писали Hello World, объясняли результат программы и переделывали конвертер температуры. Лучший результат получил Claude Opus 5 — 66,8 балла.

Исходники и спецификация открыты на GitHub. Если модели справятся с нынешними заданиями, автор планирует усложнить проверку.

RSS: Новости на портале Anti-Malware.ru