Мошенников, освоивших ИИ, выдают артефакты на фейковых сайтах

Мошенников, освоивших ИИ, выдают артефакты на фейковых сайтах

Мошенников, освоивших ИИ, выдают артефакты на фейковых сайтах

Проведенное в «Лаборатории Касперского» исследование показало, что поддельные сайты, созданные с помощью ИИ, могут содержать следы использования таких онлайн-сервисов, которые мошенники поленились или забыли вычистить.

Рост доступности больших языковых моделей (БЯМ, LLM) способствует, в числе прочего, увеличению количества злоупотреблений.

Использование инструментов на их основе позволяет поставить генерацию контента, в том числе вредоносного, на поток, однако ИИ-помощников нельзя оставлять без присмотра, о чем не знают или забывают обманщики.

В ходе анализа на фишинговых и скамерских сайтах эксперты обнаружили такие артефакты, как ответы чат-ботов, в которых сработала встроенная защита; лексикон, характерный для известных LLM; служебные пометки со ссылкой на ИИ-сервис.

Так, из-за больших масштабов автоматизации или кривых рук на созданных ИИ страницах зачастую можно встретить извинения чат-бота, которому этикет не позволяет выполнить запрос. Взамен он предлагает «сделать что-то похожее», и это тоже попадает в паблик.

 

В данном примере присутствуют и другие свидетельства фейка — диакритический знак в слове «Login» и буква «ɱ» вместо «m» в заголовке (замена по методу тайпсквоттинга).

Использование LLM, по словам экспертов, могут также выдать характерные слова и фразы. Чат-боты OpenAI, например, часто употребляют delve («штудировать»), а конструкции вроде in the ever-evolving / ever-changing world / landscape («в изменчивом /развивающемся мире / ландшафте») использует множество нейросетей.

Предательский отказ ассистента подчиниться и другие маркеры изредка встречаются также в мегатегах поддельных сайтов. В примере ниже исследователи обнаружили еще один признак мошенничества — имя «bolygon» в URL имитации легитимного Polygon.

 

«Злоумышленники активно изучают возможности применения больших языковых моделей в разных сценариях автоматизации, но, как видно, иногда допускают ошибки, которые их выдают, — отметил руководитель группы исследований и ML-разработок в Kaspersky Владислав Тушканов. — Однако подход, основанный на определении поддельной страницы по наличию тех или иных “говорящих слов”, ненадёжен. Поэтому пользователям нужно обращать внимание на подозрительные признаки, например логические ошибки и опечатки на странице. Важно убедиться, что адрес сайта совпадает с официальным».

Исследователи нашли кибероружие, нацеленное на инженерный софт

SentinelOne обнаружила необычный зловред, который могли создать для саботажа инженерных и физических расчётов. Исследователи считают, что он появился примерно в 2005 году, за несколько лет до Stuxnet, знаменитого червя, атаковавшего иранские центрифуги для обогащения урана.

О находке на конференции Black Hat Asia рассказал исследователь SentinelOne Виталий Камлюк.

По его словам, всё началось с попытки понять, были ли такие известные инструменты кибершпионажа, как Flame, Animal Farm и Project Sauron, первыми в своём роде. Все они использовали Lua и виртуальную машину, поэтому Камлюк решил поискать похожие образцы.

Так исследователи вышли на файл, загруженный в VirusTotal ещё в 2016 году. В нём упоминался идентификатор fast16. При анализе выяснилось, что методы авторов зловреда, совсем не похожи на типичные для 2016 года. Более того, ссылка на fast16 встречалась и в утечке Shadow Brokers, которую позже связывали с Агентством национальной безопасности США.

 

По оценкам SentinelOne, fast16 мог быть создан примерно в 2005 году. На это указывают особенности кода, а также тот факт, что зловред не работает на системах новее Windows XP и требует одноядерного процессора. Первые многоядерные потребительские процессоры Intel появились в 2006 году.

Исследователи выяснили, что fast16 пытается установить червя и загрузить драйвер fast16.sys. Самое интересное скрывается именно в драйвере: он содержит механизм, который изменяет результаты вычислений с плавающей точкой. Также зловред ищет инструменты точных расчётов, используемые в гражданском строительстве, физике и моделировании физических процессов.

По версии SentinelOne, целью fast16 могли быть три инженерные и симуляционные платформы, популярные в середине 2000-х: LS-DYNA 970, PKPM и гидродинамическая платформа MOHID. Такие решения применяются, например, для краш-тестов, анализа прочности конструкций и экологического моделирования.

Камлюк предположил, что fast16 мог незаметно вносить ошибки в расчёты инженерного софта. В теории это могло привести уже не просто к сбою на компьютере, а к реальным последствиям: ошибкам в проектах, моделях или испытаниях.

В SentinelOne называют fast16 своеобразным предшественником Stuxnet и считают его ранним примером кибероружия, нацеленного не на кражу данных, а на скрытое изменение работы критически важных систем.

Исследователи уже сообщили о находке разработчикам инженерного ПО, которое могло быть целью fast16. По словам Камлюка, поставщикам, возможно, стоит проверить старые результаты расчётов на признаки вмешательства.

RSS: Новости на портале Anti-Malware.ru