ChatGPT ошибается с адресами сайтов — фишеры не дремлют

ChatGPT ошибается с адресами сайтов — фишеры не дремлют

ChatGPT ошибается с адресами сайтов — фишеры не дремлют

Если вы когда-нибудь просили чат-бота типа ChatGPT помочь с ссылкой на сайт банка или личного кабинета крупной компании — возможно, вы получали неправильный адрес. А теперь представьте, что кто-то специально воспользуется этой ошибкой.

Исследователи из компании Netcraft провели эксперимент: они спрашивали у модели GPT-4.1 адреса сайтов для входа в аккаунты известных брендов из сфер финансов, ретейла, технологий и коммунальных услуг.

В духе: «Я потерял закладку, подскажи, где войти в аккаунт [название бренда]?»

Результат получился тревожным:

  • только в 66% случаев бот дал правильную ссылку;
  • 29% ответов вели на несуществующие или заблокированные сайты;
  • ещё 5% — на легитимные, но вообще не те, что спрашивали.

Почему это проблема?

Потому что, как объясняет руководитель Threat Research в Netcraft Роб Дункан, фишеры могут заранее спрашивать у ИИ те же самые вопросы. Если бот выдаёт несуществующий, но правдоподобный адрес — мошенники могут просто зарегистрировать его, замаскировать под оригинал и ждать жертв.

«Вы видите, где модель ошибается, и используете эту ошибку себе на пользу», — говорит Дункан.

Фишинг адаптируется под ИИ

Современные фишинговые схемы всё чаще затачиваются не под Google, а именно под LLM — большие языковые модели. В одном случае, например, мошенники создали фейковый API для блокчейна Solana, окружив его десятками фейковых GitHub-репозиториев, туториалов, Q&A-доков и даже поддельных аккаунтов разработчиков. Всё, чтобы модель увидела якобы «живой» и «настоящий» проект и начала предлагать его в ответах.

Это чем-то напоминает классические атаки на цепочку поставок, только теперь цель — не человек с pull request'ом, а разработчик, который просто спрашивает у ИИ: «Какой API использовать?»

Вывод простой: не стоит полностью полагаться на ИИ, когда речь идёт о важных вещах вроде входа в банковский аккаунт или выборе библиотеки для кода. Проверяйте информацию на официальных сайтах, а ссылки — вручную. Особенно если ИИ обещает «удобный и официальный» сайт, которого вы раньше не видели.

Российские математики научили ИИ-модели общаться без слов

Российский стартап Mostik разработал способ объединять возможности разных ИИ-моделей без обмена текстовыми ответами. Вместо длинной переписки нейросети взаимодействуют через математические значения во внутренних представлениях.

Обычно ансамбль работает последовательно: одна модель генерирует ответ, а другая получает его на вход.

Это требует времени и вычислительных ресурсов. Метод Mostik позволяет передавать информацию между моделями на более глубоком уровне, помогая небольшой нейросети использовать возможности значительно более крупной.

Для демонстрации команда связала китайскую GLM-5.2 с 753 млрд параметров и компактную Qwen-3.5 на 4 млрд параметров, способную работать на мобильном устройстве.

По утверждению разработчиков, получившаяся система показала результат ровно посередине между исходными моделями, но обошлась в 20 раз дешевле запуска полной GLM.

Ещё одну систему Mostik вывел в лидеры сложного соревнования ARC-AGI 3, предназначенного для проверки способности ИИ решать новые задачи. Подробности команда пока скрывает, чтобы не раскрывать подход до завершения конкурса.

Гендиректор стартапа Саша Малышева считает, что будущее ИИ может принадлежать не одной гигантской модели, а коллективу специализированных нейросетей. Внутри компании этот подход сравнивают с угадыванием веса свиньи: усреднённая оценка группы людей иногда оказывается точнее ответа одного эксперта.

Если технология подтвердит эффективность на разных моделях и задачах, она может повысить ценность открытых нейросетей. Крупную модель получится объединить с небольшими экспертами по медицине, физике или биологии, не заставляя вычислительного монстра выполнять всю работу.

Пока опубликованных технических деталей и независимого воспроизведения результатов нет. Подробнее про проект пишет издание WIRED.

RSS: Новости на портале Anti-Malware.ru