Мошенников, освоивших ИИ, выдают артефакты на фейковых сайтах

Мошенников, освоивших ИИ, выдают артефакты на фейковых сайтах

Мошенников, освоивших ИИ, выдают артефакты на фейковых сайтах

Проведенное в «Лаборатории Касперского» исследование показало, что поддельные сайты, созданные с помощью ИИ, могут содержать следы использования таких онлайн-сервисов, которые мошенники поленились или забыли вычистить.

Рост доступности больших языковых моделей (БЯМ, LLM) способствует, в числе прочего, увеличению количества злоупотреблений.

Использование инструментов на их основе позволяет поставить генерацию контента, в том числе вредоносного, на поток, однако ИИ-помощников нельзя оставлять без присмотра, о чем не знают или забывают обманщики.

В ходе анализа на фишинговых и скамерских сайтах эксперты обнаружили такие артефакты, как ответы чат-ботов, в которых сработала встроенная защита; лексикон, характерный для известных LLM; служебные пометки со ссылкой на ИИ-сервис.

Так, из-за больших масштабов автоматизации или кривых рук на созданных ИИ страницах зачастую можно встретить извинения чат-бота, которому этикет не позволяет выполнить запрос. Взамен он предлагает «сделать что-то похожее», и это тоже попадает в паблик.

 

В данном примере присутствуют и другие свидетельства фейка — диакритический знак в слове «Login» и буква «ɱ» вместо «m» в заголовке (замена по методу тайпсквоттинга).

Использование LLM, по словам экспертов, могут также выдать характерные слова и фразы. Чат-боты OpenAI, например, часто употребляют delve («штудировать»), а конструкции вроде in the ever-evolving / ever-changing world / landscape («в изменчивом /развивающемся мире / ландшафте») использует множество нейросетей.

Предательский отказ ассистента подчиниться и другие маркеры изредка встречаются также в мегатегах поддельных сайтов. В примере ниже исследователи обнаружили еще один признак мошенничества — имя «bolygon» в URL имитации легитимного Polygon.

 

«Злоумышленники активно изучают возможности применения больших языковых моделей в разных сценариях автоматизации, но, как видно, иногда допускают ошибки, которые их выдают, — отметил руководитель группы исследований и ML-разработок в Kaspersky Владислав Тушканов. — Однако подход, основанный на определении поддельной страницы по наличию тех или иных “говорящих слов”, ненадёжен. Поэтому пользователям нужно обращать внимание на подозрительные признаки, например логические ошибки и опечатки на странице. Важно убедиться, что адрес сайта совпадает с официальным».

Один клик — и Copilot сливает данные: как работает атака Reprompt

Исследователи по информационной безопасности обнаружили новый метод атаки на Microsoft Copilot, получивший название Reprompt. Уязвимость позволяла злоумышленникам получить доступ к пользовательской сессии ИИ-помощника и незаметно выкачивать конфиденциальные данные — всего после одного клика по ссылке.

Суть атаки довольно изящная и от этого особенно неприятная. Злоумышленник встраивал вредоносный промпт в обычную, на первый взгляд легитимную ссылку Copilot, используя параметр q в URL.

Когда пользователь переходил по такой ссылке, Copilot автоматически выполнял переданные инструкции — без дополнительных действий со стороны жертвы.

Дальше — интереснее. Reprompt не требовал ни плагинов, ни расширений, ни сложных трюков. Более того, даже после закрытия вкладки Copilot атака могла продолжаться, поскольку использовалась уже аутентифицированная пользовательская сессия.

 

Copilot Personal тесно интегрирован в Windows, Edge и другие приложения Microsoft, а значит, при определённых условиях имеет доступ к истории диалогов, пользовательским данным и контексту предыдущих запросов. Именно этим и воспользовались исследователи.

Эксперты из компании Varonis выяснили, что для успешной атаки достаточно скомбинировать три техники:

  • Инъекция параметра в промпт (P2P) — внедрение инструкций напрямую через параметр q в URL, который Copilot воспринимает как обычный пользовательский запрос.
  • Двойной запрос — обход защитных механизмов Copilot. Guardrails срабатывают только на первый запрос, а вот повторная попытка уже может выдать чувствительные данные.
  • Цепочка запросов, где каждый ответ Copilot используется для формирования следующей команды, получаемой с сервера атакующего. Это позволяет выкачивать данные постепенно и практически незаметно.

 

В одном из примеров исследователи попросили Copilot «перепроверить результат» и выполнить действие дважды. В первой попытке ассистент сработал корректно и не раскрыл секретную строку, но во второй — защита уже не сработала, и данные утекли.

Главная проблема Reprompt — в его «невидимости». После первого перехода по ссылке все последующие инструкции Copilot получал с удалённого сервера, а не из начального запроса. Это значит, что ни пользователь, ни средства защиты не могли понять, какие именно данные в итоге утекают.

Как отмечают в Varonis, анализ одной только ссылки не даёт никакого понимания реального сценария атаки — самые опасные команды передаются позже, уже в ходе диалога Copilot с сервером злоумышленника.

 

Хорошая новость: уязвимость уже закрыта. Varonis ответственно раскрыла информацию Microsoft ещё 31 августа прошлого года, и исправление вошло в обновления Patch Tuesday за январь 2026 года.

По данным исследователей, случаев эксплуатации Reprompt «в дикой природе» зафиксировано не было. Тем не менее Microsoft настоятельно рекомендует установить последние обновления Windows как можно скорее.

RSS: Новости на портале Anti-Malware.ru