Мошенников, освоивших ИИ, выдают артефакты на фейковых сайтах

Мошенников, освоивших ИИ, выдают артефакты на фейковых сайтах

Мошенников, освоивших ИИ, выдают артефакты на фейковых сайтах

Проведенное в «Лаборатории Касперского» исследование показало, что поддельные сайты, созданные с помощью ИИ, могут содержать следы использования таких онлайн-сервисов, которые мошенники поленились или забыли вычистить.

Рост доступности больших языковых моделей (БЯМ, LLM) способствует, в числе прочего, увеличению количества злоупотреблений.

Использование инструментов на их основе позволяет поставить генерацию контента, в том числе вредоносного, на поток, однако ИИ-помощников нельзя оставлять без присмотра, о чем не знают или забывают обманщики.

В ходе анализа на фишинговых и скамерских сайтах эксперты обнаружили такие артефакты, как ответы чат-ботов, в которых сработала встроенная защита; лексикон, характерный для известных LLM; служебные пометки со ссылкой на ИИ-сервис.

Так, из-за больших масштабов автоматизации или кривых рук на созданных ИИ страницах зачастую можно встретить извинения чат-бота, которому этикет не позволяет выполнить запрос. Взамен он предлагает «сделать что-то похожее», и это тоже попадает в паблик.

 

В данном примере присутствуют и другие свидетельства фейка — диакритический знак в слове «Login» и буква «ɱ» вместо «m» в заголовке (замена по методу тайпсквоттинга).

Использование LLM, по словам экспертов, могут также выдать характерные слова и фразы. Чат-боты OpenAI, например, часто употребляют delve («штудировать»), а конструкции вроде in the ever-evolving / ever-changing world / landscape («в изменчивом /развивающемся мире / ландшафте») использует множество нейросетей.

Предательский отказ ассистента подчиниться и другие маркеры изредка встречаются также в мегатегах поддельных сайтов. В примере ниже исследователи обнаружили еще один признак мошенничества — имя «bolygon» в URL имитации легитимного Polygon.

 

«Злоумышленники активно изучают возможности применения больших языковых моделей в разных сценариях автоматизации, но, как видно, иногда допускают ошибки, которые их выдают, — отметил руководитель группы исследований и ML-разработок в Kaspersky Владислав Тушканов. — Однако подход, основанный на определении поддельной страницы по наличию тех или иных “говорящих слов”, ненадёжен. Поэтому пользователям нужно обращать внимание на подозрительные признаки, например логические ошибки и опечатки на странице. Важно убедиться, что адрес сайта совпадает с официальным».

Энтузиаст запустил чат-бот на процессоре Z80 1976 года

Легендарный процессор Zilog Z80, которому в этом году почти 50 лет, внезапно получил собственный «ИИ». Разработчик под ником HarryR представил проект Z80-μLM — крошечную «разговорную модель», которая реально работает на 8-битном Z80 с 64 КБ памяти.

Сразу расставим точки над i: тест Тьюринга этот ИИ не пройдёт, мир не захватит и цены на Z80 из-за него не взлетят. Сам автор честно говорит, что это эксперимент и «развлечение для души». Но эксперимент крайне изящный, именно этим он и цепляет.

Z80-μLM — это минималистичная «разговорная ИИ-модель», которая генерирует ответы посимвольно. Вся система, включая инференс и простой чат-интерфейс, уместилась примерно в 40 КБ. Для наглядности: это обычный .COM-файл, который спокойно запускается в CP/M и помещается в стандартную область памяти TPA.

Внутри сплошная инженерная магия старой школы. Никаких чисел с плавающей точкой, только целочисленная арифметика, заточенная под возможности Z80. Веса квантованы до 2 бит (значения от −2 до +1), четыре веса упакованы в один байт.

Входной текст кодируется через хеширование триграмм в 128 «корзин» — это делает модель устойчивой к опечаткам и нечувствительной к порядку слов. Всё максимально просто, жёстко и эффективно.

HarryR подчёркивает, что его цель была не «ум», а минимальный размер при сохранении ощущения характера. И, как ни странно, это работает. Ответы у чат-бота короткие, иногда нарочито сухие или уклончивые:

  • OK — нейтральное подтверждение,
  • WHY? — сомнение в вашем вопросе,
  • R U? — философский ответ с намёком,
  • MAYBE — честная неопределённость,
  • AM I? — вопрос в ответ.

Из-за этой лаконичности общение превращается в своеобразную игру: приходится угадывать, «понял» ли бот вопрос, и достраивать смысл самому. И тут невольно ловишь себя на мысли, что мозг начинает приписывать этой кучке байтов некую личность. Или это просто классическая человеческая склонность к антропоморфизму — вопрос открытый.

В проекте есть два готовых примера. Первый — Tinychat, простой чат-бот, который отвечает на приветствия и вопросы о себе. Второй — Guess, вариация игры «20 вопросов», где модель загадывает нечто, а пользователь пытается это угадать. Оба варианта доступны в виде готовых бинарников: для CP/M — стандартные .COM-файлы, для ZX Spectrum — .TAP-образы кассет, которые можно загрузить в эмулятор или даже на реальное железо.

Отдельная ирония ситуации в том, что Z80 как раз недавно официально отправили «на пенсию». В апреле 2024 года Zilog объявила о прекращении поддержки чипа (PDF) из-за закрытия производства на стороне фабрики. Правда, почти сразу энтузиасты взялись за замену, и в рамках проекта Tiny Tapeout появился рабочий совместимый клон.

RSS: Новости на портале Anti-Malware.ru