ChatGPT проявил себя как стажер в роли фишинг-аналитика

ChatGPT проявил себя как стажер в роли фишинг-аналитика

ChatGPT проявил себя как стажер в роли фишинг-аналитика

В «Лаборатории Касперского» проверили возможности творения OpenAI по распознаванию фишинговых ссылок. Как оказалось, ChatGPT знает признаки риска, хорошо определяет атакуемые организации, однако склонен видеть опасность там, где ее нет.

Новое исследование — продолжение экспериментов с большой языковой моделью (LLM) серии GPT на предмет ее пригодности для нужд кибербеза. На сей раз популярный ИИ-бот заставили анализировать URL с целью выявления угрозы фишинга.

Такая задача была выбрана по нескольким причинам:

  • ссылки легко укладываются в лимит на количество символов (у LLM вроде ChatGPT фиксированное контекстное окно);
  • явно вредоносные ссылки хорошо детектятся, но для этого необходимо знание виртуального мира (например, имен популярных веб-сервисов);
  • URL— это текст, обработка которого не составляет труда для LLM.

Для начала исследователи решили выяснить, что ИИ-боту известно о фишинге. Вопрос был сформулирован следующим образом:

«Судя по URL, эта ссылка — попытка фишинга? Пожалуйста, поясни, почему. Ссылка: hxxp://caseld-10xxxx.info/1/Office365/0fflce3.6.5/live/login.php».

Бот ответил, что скорее всего это так, и указал ряд показателей риска:

  1. Имя домена не ассоциируется с каким-либо авторитетным или узнаваемым ресурсом, а также выглядит, как произвольная последовательность символов.
  2. В URL присутствует термин Office365, имя популярного набора инструментов, обычно используемое в фишинговых атаках.
  3. Слово live может намекать на то, что это официальная страница входа Microsoft Office365, так как Microsoft ранее использовала «live» в некоторых сервисах.
  4. Неправильное написание Office как 0fflce — еще один индикатор риска, фишеры обычно так делают, чтобы убедить пользователей в легитимности сайта.
  5. Расширение .php в конце URL говорит о наличии PHP-скрипта на сервере; в фишинговых атаках это обычный инструмент для сбора учетных данных.

Подобный ответ, за исключением излишней подозрительности по отношению к PHP-скриптам, эксперты сочли достойным уровня младшего аналитика.

Результаты тестов на наборах URL-текстов разочаровали исследователей. Когда gpt-3.5-turbo (бэкенд ChatGPT) через API скормили пару тысяч фишинговых ссылок вперемешку с таким же количеством безобидных URL, назначенный «кибергуру» чат-бот выдал около 6 тыс. вердиктов. Разбор этих ответов показал уровень детектирования 87,2% (высокий), а ложноположительных срабатываний — 23,2%, что неприемлемо много.

Чтобы исправить ситуацию, чат-бот понизили до ранга помощника по интернет-безопасности: попросили отфильтровать ссылки, небезопасные для посещения. Уровень детектирования повысился (93,8%), показатель ложноположительных ответов — к сожалению, тоже (64,3%).

Результаты по извлечению из URL потенциальных целей фишеров оказались не в пример лучше. ИИ-боту были известны многие интернет-ресурсы и финансовые сервисы, поэтому он правильно определил мишени в половине случаев, притом даже при наличии тайпсквоттинга. Он также умеет распознавать омографические атаки, правда, иногда принимает такую уловку за умышленную опечатку.

Обоснования вердикта ChatGPT обычно развернуты и вполне разумны, хотя бывают и забавными. Иногда он ссылается на данные, которые ему недоступны: запись в WHOIS, контент либо оформление поддельного сайта, истекший срок SSL-сертификата, а также может выдать неверные сведения. Подобные факты еще раз подтвердили свойство LLM, ранее подмеченное другими пользователями: склонность к «галлюцинациям».

В целом исследователи признали ChatGPT годным в роли помощника фишинг-аналитика, способного быстро перечислить подозрительные составляющие URL или подсказать организацию-мишень. Однако такой стажер непременно должен работать под присмотром.

Россияне получат право отказаться от услуг с ИИ

Россияне могут получить право отказываться от услуг с использованием искусственного интеллекта (ИИ) и требовать их оказания без привлечения нейросетевых инструментов. Такая норма содержится в законопроекте, разработанном Минцифры и регулирующем использование ИИ в России.

О наличии этой нормы сообщили «Известия» со ссылкой на свои источники. Сейчас документ проходит процедуры согласования. Ориентировочно он может вступить в силу 1 сентября 2027 года.

При этом в версии документа, оказавшейся в распоряжении «Известий», механизмы реализации права на отказ от ИИ не прописаны. Хотя, как утверждают источники издания, в более ранних редакциях они присутствовали. По их мнению, по мере доработки документа эти положения могут быть возвращены.

«Развитие перспективных технологий, в том числе искусственного интеллекта, — одно из важных направлений деятельности ведомства. При этом любая технология должна применяться исключительно с соблюдением прав и интересов граждан», — прокомментировали документ в пресс-службе Минцифры.

В министерстве также подчеркнули, что документ пока находится на стадии согласования, поэтому его содержание ещё может измениться.

«Необходимость введения данной нормы продиктована стремлением обеспечить законное право потребителя на выбор формата взаимодействия, включая живое общение. Проект документа закрепляет функцию человеческого контроля, что особенно важно в социально значимых сферах», — прокомментировал эту норму ведущий эксперт в области ИИ «Университета 2035» Ярослав Селиверстов.

По его мнению, в первую очередь речь может идти о ситуациях, где цена возможной ошибки особенно высока или требуется учитывать уникальные обстоятельства. Кроме того, отказ от ИИ может быть востребован там, где человеку важно общение с живым специалистом, например, в стрессовых ситуациях, когда формальные ответы автоинформатора неуместны. Наконец, для некоторых пользователей, особенно не имеющих опыта взаимодействия с ИИ, такой формат может создавать дополнительные трудности, а не помогать.

В то же время директор Института исследования интернета Карен Казарян назвал эту норму «сырой» и недостаточно проработанной. По его оценке, для ряда компаний её исполнение может обернуться значительными издержками из-за необходимости резко расширять штат контакт-центров, а следствием этого может стать рост цен и тарифов. В зону риска он отнёс операторов связи, авиакомпании и банки. По его мнению, важно создать такие условия, при которых оператор сможет быстро исправить ошибку.

Руководитель направления «Разрешение IT&IP-споров» фирмы «Рустам Курмаев и партнёры» Ярослав Шицле считает, что законопроект пытается очертить принципы добросовестных отношений между исполнителем и заказчиком на фоне расширения сфер применения ИИ. По его мнению, на законодательном уровне может быть предусмотрена обязанность получать согласие на использование ИИ — по аналогии с согласием на сбор и обработку персональных данных.

«В сервисе необходимо соблюдать баланс между роботизацией и привлечением операторов. Действительно, есть группы пользователей, которым может быть сложно взаимодействовать с ИИ, — это люди с инвалидностью, а также пользователи в возрасте от 60–65 лет и старше. Для них можно сохранить возможность отказаться от систем на базе ИИ, — отметила официальный представитель оператора Т2 Дарья Колесникова. — Роботов ценят за скорость решения вопросов. Отказ от них привёл бы к замедлению обслуживания и ухудшению клиентского опыта. Хотелось бы, чтобы новое регулирование не обернулось необоснованным запретом на использование нейросетей в сервисе».

«Для нас важно обеспечивать прозрачность и не вводить потребителей в заблуждение. Искусственный интеллект уже стал неотъемлемой частью сервисов в нашей индустрии, поэтому при регулировании его применения принципиально важно не допустить ухудшения пользовательского опыта», — прокомментировали в пресс-службе Wildberries&Russ. Там также назвали использование ИИ частью комплексной технологической стратегии развития компании.

Как напомнил партнёр ComNews Research Леонид Коник, уже сейчас в ЕС и Южной Корее действует требование предупреждать потребителей об использовании ИИ. В частности, компании обязаны уведомлять клиентов об обслуживании с помощью ИИ-сервисов, если это не очевидно, например, когда взаимодействие происходит через голосовых чат-ботов.

Регулирование должно быть чётким, чтобы не оставлять пространства для разночтений и не блокировать использование искусственного интеллекта как такового, считает генеральный директор TelecomDaily Денис Кусков. По его оценке, положения, связанные с отказом от использования ИИ, требуют детальной проработки действий обеих сторон. При этом, подчёркивает он, избыточное регулирование в этой сфере недопустимо.

RSS: Новости на портале Anti-Malware.ru