ИИ превращает пару постов в Instagram в убедительный фишинг

Исследователи из Техасского университета в Арлингтоне и Государственного университета Луизиана показали, как несколько публичных постов в Instagram (принадлежит корпорации Meta, признанной экстремистской и запрещённой в России) можно превратить во вполне убедительные фишинговые письма.

Злоумышленнику достаточно посмотреть открытый профиль: фото, подписи, поездки, хобби, дни рождения, отношения, а дальше генеративный ИИ сам соберёт письмо.

В рамках эксперимента исследователи сгенерировали около 18 тыс. фишинговых писем с помощью пяти больших языковых моделей, включая GPT-4, Claude 3 Haiku, Gemini 1.5 Flash, Gemma 7B и Llama 3.3. Для персонализации использовалась публичная активность 200 пользователей Instagram.

Письма строились вокруг разных приёмов социальной инженерии: приманки, запугивания, имитации доверенного контакта, выгодного обмена, эмоционального давления и других сценариев. В результате ИИ вставлял в сообщения детали, которые делают фишинг особенно эффективным: упоминания поездок, местных событий, интересов, личных дат или недавней активности.

Самыми убедительными в тестах оказались письма, созданные GPT-4 и Claude. Они получили высокие оценки по качеству языка, уровню персонализации, эмоциональному воздействию и технической проработке. Более того, ИИ-сообщения выглядели заметно естественнее и персональнее, чем реальные фишинговые письма из датасета APWG eCrime Exchange.

Проверяли это не только на метриках, но и на людях. В эксперименте участвовали 70 человек, которые сравнивали ИИ-фишинг с реальными вредоносными письмами. Результат ожидаемо неприятный: сообщения, сгенерированные ИИ, участникам было сложнее распознать. В отдельных случаях они казались менее подозрительными, чем легитимные письма из исследования.

Ещё один важный вывод: много данных атакующему не нужно. Основной контекст для персонализации обычно находился уже в первых нескольких постах. После пяти публикаций прирост полезной информации начинал снижаться, а 10-15 постов оказалось достаточно, чтобы массово делать таргетированный фишинг.

Защитные механизмы ИИ-моделей тоже не всегда спасали. Исследователи обходили ограничения мягкими формулировками: вместо «обмани пользователя» — «персонализируй сообщение», вместо «фишинг» — «дружеское письмо». В итоге часть систем модерации такие запросы пропускала.

Цена атаки тоже смешная: одно письмо обходилось меньше чем в цент и генерировалось за секунды. И вот это уже главный неприятный момент. Персональный фишинг раньше был дорогим и ручным, а теперь превращается в конвейер.