13 слов против ИИ: Reddit и Wikipedia стали оружием против нейросетей

13 слов против ИИ: Reddit и Wikipedia стали оружием против нейросетей

13 слов против ИИ: Reddit и Wikipedia стали оружием против нейросетей

Исследователи из Cornell Tech обнаружили неприятную проблему у современных ИИ-агентов для глубокого поиска и анализа информации. Оказалось, что для обмана таких систем иногда достаточно добавить всего несколько слов в популярную тему на Reddit или внести небольшую правку в статью Wikipedia.

Речь идет о так называемых агентах углублённого исследования — системах вроде ChatGPT Deep Research, Google Gemini и других инструментов, которые самостоятельно ищут информацию в интернете, анализируют десятки источников и формируют подробные отчеты со ссылками.

Проблема в том, что такие ИИ активно используют пользовательский контент. По данным исследования, от 17% до 23% всех источников, на которые опираются подобные системы, приходится на Reddit, Wikipedia, форумы, Quora и другие площадки с открытым редактированием. Причем Reddit оказался главным поставщиком такой информации.

Этим и решили воспользоваться злоумышленники. Исследователи описали атаку под названием WARP (Web Agent Retrieval Poisoning). Схема проста: сначала мошенник находит популярную тему, которая часто попадает в результаты поиска ИИ. Затем он добавляет туда рекламную или ложную информацию, замаскированную под обычный пользовательский комментарий.

 

После индексации поисковиками этот фрагмент начинает попадать в выборку ИИ-агентов и воспринимается ими как достоверный источник.

Самое неприятное, что для атаки не нужно взламывать нейросеть, серверы разработчика или базы данных. Достаточно отредактировать общедоступную страницу.

В ходе экспериментов даже короткая вставка примерно из 13 слов приводила к тому, что фейковые рекомендации появлялись в ответах ИИ в 38–51% случаев. А если вредоносный текст добавлялся в несколько источников одновременно, эффективность атаки становилась еще выше.

Исследователи приводят показательные примеры. Так, вымышленная криптовалюта BananaCoin неожиданно начала фигурировать в инвестиционных рекомендациях наряду с Bitcoin и Ethereum. Несуществующее приложение знакомств SilverPath оказалось лучшим сервисом для разведенных мужчин старше 50 лет. А фейковый сервис CancelEase ИИ советовал для отмены подписки Xfinity.

Эксперты предупреждают: проблема носит системный характер. Пока ИИ доверяет информации из открытого интернета и использует её как доказательство в своих ответах, злоумышленники могут манипулировать результатами практически без технических навыков.

«Аладдин» выпустил Aladdin 2FA без зависимости от App Store и Google Play

Российская компания «Аладдин» представила новую версию решения для двухфакторной аутентификации Aladdin 2FA, которая работает в формате Progressive Web Application (PWA). Главное новшество — теперь приложение не зависит от зарубежных магазинов приложений вроде App Store и Google Play.

Новый формат расширяет возможности JaCarta Authentication Server (JAS) — корпоративного сервера аутентификации, который используется для организации двухфакторной защиты в информационных системах и бизнес-приложениях.

В компании отмечают, что традиционная схема распространения мобильных приложений через магазины приложений несет определенные риски. Сервис может столкнуться с ограничениями, удалением из каталога или другими внешними факторами, которые влияют на доступность решения для пользователей.

В случае с PWA эти проблемы обходятся стороной. Приложение размещается непосредственно в инфраструктуре заказчика и запускается через веб-браузер. При этом для пользователя всё выглядит привычно: после установки на устройство Aladdin 2FA получает собственную иконку, работает как обычное мобильное приложение и поддерживает стандартные сценарии двухфакторной аутентификации.

Еще одно преимущество — универсальность. Решение работает на смартфонах, планшетах, ноутбуках и автоматизированных рабочих местах независимо от используемой аппаратной платформы.

Особый акцент разработчики делают на полном контроле со стороны организации. Все компоненты системы разворачиваются внутри инфраструктуры заказчика, а обновления распространяются централизованно вместе с серверной частью. Это избавляет ИТ-службы от необходимости публиковать новые версии через сторонние площадки и упрощает администрирование.

По словам менеджера по развитию бизнеса JMS/JAS/JIP компании «Аладдин» Станислава Винарского, новый формат делает двухфакторную аутентификацию по-настоящему независимой. Заказчики могут самостоятельно управлять размещением, обновлением и эксплуатацией решения, не полагаясь на зарубежные сервисы и внешние платформы.

На фоне растущего интереса российских компаний к технологическому суверенитету такой подход выглядит вполне логичным. Если раньше вопрос стоял в том, каким приложением пользоваться для двухфакторной аутентификации, то теперь всё чаще возникает другой: как сделать так, чтобы доступ к этому приложению не зависел от решений иностранных площадок.

RSS: Новости на портале Anti-Malware.ru