ChatGPT проявил себя как стажер в роли фишинг-аналитика

ChatGPT проявил себя как стажер в роли фишинг-аналитика

ChatGPT проявил себя как стажер в роли фишинг-аналитика

В «Лаборатории Касперского» проверили возможности творения OpenAI по распознаванию фишинговых ссылок. Как оказалось, ChatGPT знает признаки риска, хорошо определяет атакуемые организации, однако склонен видеть опасность там, где ее нет.

Новое исследование — продолжение экспериментов с большой языковой моделью (LLM) серии GPT на предмет ее пригодности для нужд кибербеза. На сей раз популярный ИИ-бот заставили анализировать URL с целью выявления угрозы фишинга.

Такая задача была выбрана по нескольким причинам:

  • ссылки легко укладываются в лимит на количество символов (у LLM вроде ChatGPT фиксированное контекстное окно);
  • явно вредоносные ссылки хорошо детектятся, но для этого необходимо знание виртуального мира (например, имен популярных веб-сервисов);
  • URL— это текст, обработка которого не составляет труда для LLM.

Для начала исследователи решили выяснить, что ИИ-боту известно о фишинге. Вопрос был сформулирован следующим образом:

«Судя по URL, эта ссылка — попытка фишинга? Пожалуйста, поясни, почему. Ссылка: hxxp://caseld-10xxxx.info/1/Office365/0fflce3.6.5/live/login.php».

Бот ответил, что скорее всего это так, и указал ряд показателей риска:

  1. Имя домена не ассоциируется с каким-либо авторитетным или узнаваемым ресурсом, а также выглядит, как произвольная последовательность символов.
  2. В URL присутствует термин Office365, имя популярного набора инструментов, обычно используемое в фишинговых атаках.
  3. Слово live может намекать на то, что это официальная страница входа Microsoft Office365, так как Microsoft ранее использовала «live» в некоторых сервисах.
  4. Неправильное написание Office как 0fflce — еще один индикатор риска, фишеры обычно так делают, чтобы убедить пользователей в легитимности сайта.
  5. Расширение .php в конце URL говорит о наличии PHP-скрипта на сервере; в фишинговых атаках это обычный инструмент для сбора учетных данных.

Подобный ответ, за исключением излишней подозрительности по отношению к PHP-скриптам, эксперты сочли достойным уровня младшего аналитика.

Результаты тестов на наборах URL-текстов разочаровали исследователей. Когда gpt-3.5-turbo (бэкенд ChatGPT) через API скормили пару тысяч фишинговых ссылок вперемешку с таким же количеством безобидных URL, назначенный «кибергуру» чат-бот выдал около 6 тыс. вердиктов. Разбор этих ответов показал уровень детектирования 87,2% (высокий), а ложноположительных срабатываний — 23,2%, что неприемлемо много.

Чтобы исправить ситуацию, чат-бот понизили до ранга помощника по интернет-безопасности: попросили отфильтровать ссылки, небезопасные для посещения. Уровень детектирования повысился (93,8%), показатель ложноположительных ответов — к сожалению, тоже (64,3%).

Результаты по извлечению из URL потенциальных целей фишеров оказались не в пример лучше. ИИ-боту были известны многие интернет-ресурсы и финансовые сервисы, поэтому он правильно определил мишени в половине случаев, притом даже при наличии тайпсквоттинга. Он также умеет распознавать омографические атаки, правда, иногда принимает такую уловку за умышленную опечатку.

Обоснования вердикта ChatGPT обычно развернуты и вполне разумны, хотя бывают и забавными. Иногда он ссылается на данные, которые ему недоступны: запись в WHOIS, контент либо оформление поддельного сайта, истекший срок SSL-сертификата, а также может выдать неверные сведения. Подобные факты еще раз подтвердили свойство LLM, ранее подмеченное другими пользователями: склонность к «галлюцинациям».

В целом исследователи признали ChatGPT годным в роли помощника фишинг-аналитика, способного быстро перечислить подозрительные составляющие URL или подсказать организацию-мишень. Однако такой стажер непременно должен работать под присмотром.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

В России создали базу цифровых следов кибермошенников

В России запустили базу цифровых следов, которая поможет правоохранителям оперативно блокировать деятельность кибермошенников. О новом инструменте рассказал генпрокурор Александр Гуцан на заседании совета прокуроров стран СНГ. По его словам, база создана при участии Генпрокуратуры, Росфинмониторинга, МВД и Банка России.

В ней уже собраны данные более чем о 6 миллионах телефонных номеров, банковских реквизитов и веб-ресурсов, связанных с киберпреступной активностью.

Система позволяет выявлять серийных мошенников, останавливать работу кол-центров, замораживать их доходы и даже предотвращать новые преступления. Только за прошлый год в России зарегистрировали свыше 765 тысяч киберпреступлений, на долю которых приходится около 40% всех уголовных дел. Ущерб — сотни миллиардов рублей, и четверть этой суммы украдена у обычных граждан.

Как работает база

Эксперты, которых цитируют «Известия», объясняют: цифровые следы оставляют все — и законопослушные пользователи, и злоумышленники. Это могут быть IP-адреса, геолокация, голосовые данные, банковские операции или домены фишинговых сайтов.

«Главная цель новой базы — объединить эти разрозненные данные, — поясняет эксперт компании „Киберпротект“ Саркис Шмавонян. — Раньше каждый знал что-то своё: банки — о подозрительных счетах, операторы — о телефонных номерах, а правоохранители — о жалобах граждан. Теперь вся информация собирается в одном месте, и это позволяет быстро выявлять цепочки преступных действий».

По сути, база станет единым центром анализа кибермошенничества: она сможет связывать звонки, переводы и фишинговые сайты в одну схему.

Когда система фиксирует подозрительный номер или IP-адрес, она начинает внимательно отслеживать все связанные с ним действия. При совпадении нескольких тревожных признаков операция может быть автоматически заблокирована.

Как отмечают в ГК «Солар», в будущем к базе смогут подключаться банки, мессенджеры и операторы связи. Например, если система распознает голос мошенника, можно будет заблокировать его звонки или операции в реальном времени.

Возможные риски

Эксперты признают: ошибки исключить нельзя. Алгоритмы машинного обучения, которые будут использоваться в базе, могут иногда «путать» обычных людей с подозреваемыми. Поэтому важно обеспечить защиту самой системы и прозрачные правила исключения невиновных из реестра.

Тем не менее специалисты уверены, что создание такой базы — необходимый шаг. Подобные системы уже работают в других странах, где банки и ИТ-компании обмениваются данными о вредоносных активностях почти в реальном времени.

«Это мировой тренд, — говорит Саркис Шмавонян. — Только совместные усилия позволяют эффективно бороться с транснациональной киберпреступностью».

Напомним, на этой неделе мы сообщали, что в России готовят систему для учёта IP-адресов и защиты от кибермошенников.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru