13 слов против ИИ: Reddit и Wikipedia стали оружием против нейросетей

13 слов против ИИ: Reddit и Wikipedia стали оружием против нейросетей

13 слов против ИИ: Reddit и Wikipedia стали оружием против нейросетей

Исследователи из Cornell Tech обнаружили неприятную проблему у современных ИИ-агентов для глубокого поиска и анализа информации. Оказалось, что для обмана таких систем иногда достаточно добавить всего несколько слов в популярную тему на Reddit или внести небольшую правку в статью Wikipedia.

Речь идет о так называемых агентах углублённого исследования — системах вроде ChatGPT Deep Research, Google Gemini и других инструментов, которые самостоятельно ищут информацию в интернете, анализируют десятки источников и формируют подробные отчеты со ссылками.

Проблема в том, что такие ИИ активно используют пользовательский контент. По данным исследования, от 17% до 23% всех источников, на которые опираются подобные системы, приходится на Reddit, Wikipedia, форумы, Quora и другие площадки с открытым редактированием. Причем Reddit оказался главным поставщиком такой информации.

Этим и решили воспользоваться злоумышленники. Исследователи описали атаку под названием WARP (Web Agent Retrieval Poisoning). Схема проста: сначала мошенник находит популярную тему, которая часто попадает в результаты поиска ИИ. Затем он добавляет туда рекламную или ложную информацию, замаскированную под обычный пользовательский комментарий.

 

После индексации поисковиками этот фрагмент начинает попадать в выборку ИИ-агентов и воспринимается ими как достоверный источник.

Самое неприятное, что для атаки не нужно взламывать нейросеть, серверы разработчика или базы данных. Достаточно отредактировать общедоступную страницу.

В ходе экспериментов даже короткая вставка примерно из 13 слов приводила к тому, что фейковые рекомендации появлялись в ответах ИИ в 38–51% случаев. А если вредоносный текст добавлялся в несколько источников одновременно, эффективность атаки становилась еще выше.

Исследователи приводят показательные примеры. Так, вымышленная криптовалюта BananaCoin неожиданно начала фигурировать в инвестиционных рекомендациях наряду с Bitcoin и Ethereum. Несуществующее приложение знакомств SilverPath оказалось лучшим сервисом для разведенных мужчин старше 50 лет. А фейковый сервис CancelEase ИИ советовал для отмены подписки Xfinity.

Эксперты предупреждают: проблема носит системный характер. Пока ИИ доверяет информации из открытого интернета и использует её как доказательство в своих ответах, злоумышленники могут манипулировать результатами практически без технических навыков.

Chrome сообщит Google, какой антивирус стоит на вашем Windows-компьютере

Google тестирует новую функцию в Chrome, которая может добавить еще один пункт в список отправляемых данных. На этот раз речь идет об антивирусе, установленном на компьютере пользователя. Если функция доберётся до релизных версий браузера, Chrome сможет передавать Google информацию об установленном антивирусном продукте во время проверки скачиваемых файлов.

Как обнаружили в Windows Report, в тестовой версии Chrome Canary появился механизм Antivirus Telemetry for Downloads.

Важно: нововведение касается не всех пользователей. Речь идет только о тех, кто включил режим Enhanced Safe Browsing («Улучшенная защита»). Обычный Safe Browsing, который активирован по умолчанию, под действие новой функции пока не подпадает.

Сейчас при скачивании файла Chrome может отправлять данные для проверки его безопасности. В будущем к этой информации может добавиться и название антивируса на устройстве — будь то Microsoft Defender, McAfee, Malwarebytes или другой продукт.

На существование функции указывают сразу несколько находок в исходном коде браузера. В частности, Google уже добавила новое поле для передачи данных об антивирусном продукте в запросах проверки загрузок. Кроме того, в Chrome Canary появился отдельный флаг с говорящим названием Antivirus telemetry for downloads и описанием: «Включает передачу информации об антивирусном продукте в запросах проверки загрузок».

 

Чтобы получить эти данные, браузеру придется сначала запросить информацию у Windows, а затем передать ее на серверы Google. Судя по коду, разработчики даже замеряют, насколько такая операция влияет на скорость скачивания файлов.

Новость уже вызвала вопросы о конфиденциальности. Пользователи включают Enhanced Safe Browsing ради дополнительной защиты от фишинга и вредоносных файлов, однако вместе с этим могут начать делиться с Google еще большим объемом информации, включая историю посещений, данные о загрузках и теперь сведения об используемом антивирусе.

RSS: Новости на портале Anti-Malware.ru