13 слов против ИИ: Reddit и Wikipedia стали оружием против нейросетей

13 слов против ИИ: Reddit и Wikipedia стали оружием против нейросетей

13 слов против ИИ: Reddit и Wikipedia стали оружием против нейросетей

Исследователи из Cornell Tech обнаружили неприятную проблему у современных ИИ-агентов для глубокого поиска и анализа информации. Оказалось, что для обмана таких систем иногда достаточно добавить всего несколько слов в популярную тему на Reddit или внести небольшую правку в статью Wikipedia.

Речь идет о так называемых агентах углублённого исследования — системах вроде ChatGPT Deep Research, Google Gemini и других инструментов, которые самостоятельно ищут информацию в интернете, анализируют десятки источников и формируют подробные отчеты со ссылками.

Проблема в том, что такие ИИ активно используют пользовательский контент. По данным исследования, от 17% до 23% всех источников, на которые опираются подобные системы, приходится на Reddit, Wikipedia, форумы, Quora и другие площадки с открытым редактированием. Причем Reddit оказался главным поставщиком такой информации.

Этим и решили воспользоваться злоумышленники. Исследователи описали атаку под названием WARP (Web Agent Retrieval Poisoning). Схема проста: сначала мошенник находит популярную тему, которая часто попадает в результаты поиска ИИ. Затем он добавляет туда рекламную или ложную информацию, замаскированную под обычный пользовательский комментарий.

 

После индексации поисковиками этот фрагмент начинает попадать в выборку ИИ-агентов и воспринимается ими как достоверный источник.

Самое неприятное, что для атаки не нужно взламывать нейросеть, серверы разработчика или базы данных. Достаточно отредактировать общедоступную страницу.

В ходе экспериментов даже короткая вставка примерно из 13 слов приводила к тому, что фейковые рекомендации появлялись в ответах ИИ в 38–51% случаев. А если вредоносный текст добавлялся в несколько источников одновременно, эффективность атаки становилась еще выше.

Исследователи приводят показательные примеры. Так, вымышленная криптовалюта BananaCoin неожиданно начала фигурировать в инвестиционных рекомендациях наряду с Bitcoin и Ethereum. Несуществующее приложение знакомств SilverPath оказалось лучшим сервисом для разведенных мужчин старше 50 лет. А фейковый сервис CancelEase ИИ советовал для отмены подписки Xfinity.

Эксперты предупреждают: проблема носит системный характер. Пока ИИ доверяет информации из открытого интернета и использует её как доказательство в своих ответах, злоумышленники могут манипулировать результатами практически без технических навыков.

Фальшивая заправка Топливо24 продала россиянам бензин на 3,7 млн рублей

Мошенники запустили поддельный топливный сервис «Топливо24» и за пять дней похитили у автомобилистов более 3,7 млн рублей. Жертв заманивали бензином, газом и соляркой на 20–30% дешевле обычного, обещали доставку или возможность заправиться на любой сетевой АЗС.

Новый сценарий схемы «Мамонт» обнаружили специалисты «Эфшесть/F6». С 15 по 20 августа средняя сумма списания составила 9847 рублей.

На фальшивых страницах АИ-92 продавали по 52,5 рубля за литр, АИ-95 — по 55,9 рубля, АИ-98 — по 59 рублей, а дизель — по 58,5 рубля.

Злоумышленники распространяют ссылки в автомобильных и топливных чатах, комментариях новостных каналов, социальных сетях и рекламе. Иногда потенциальной жертве сразу выставляют счёт за талон на АЗС или доставку топлива.

 

После перехода пользователь попадает на фишинговую страницу и вводит данные банковской карты для оплаты несуществующего заказа. Дальше «Топливо24» работает как очень эффективная заправка наоборот: деньги со счёта уходят, а топливо не приезжает.

Один из обнаруженных доменов в зоне .shop зарегистрировали 19 августа. Шаблон сайта позволяет мошенникам самостоятельно менять цены и маскировать страницы под девять федеральных сетей АЗС.

 

Это уже не первая атака на автомобилистов на фоне дефицита топлива и очередей. Ранее в августе F6 обнаружила десять сайтов с фальшивыми банковскими программами лояльности и бесплатными ваучерами. В июле специалисты раскрыли сеть из более чем 60 поддельных топливных ресурсов, использовавшихся для угона телеграм-аккаунтов.

Главный  маркер обмана — цена заметно ниже рынка вместе с требованием срочно оплатить заказ по присланной ссылке.

RSS: Новости на портале Anti-Malware.ru