13 слов против ИИ: Reddit и Wikipedia стали оружием против нейросетей

13 слов против ИИ: Reddit и Wikipedia стали оружием против нейросетей

13 слов против ИИ: Reddit и Wikipedia стали оружием против нейросетей

Исследователи из Cornell Tech обнаружили неприятную проблему у современных ИИ-агентов для глубокого поиска и анализа информации. Оказалось, что для обмана таких систем иногда достаточно добавить всего несколько слов в популярную тему на Reddit или внести небольшую правку в статью Wikipedia.

Речь идет о так называемых агентах углублённого исследования — системах вроде ChatGPT Deep Research, Google Gemini и других инструментов, которые самостоятельно ищут информацию в интернете, анализируют десятки источников и формируют подробные отчеты со ссылками.

Проблема в том, что такие ИИ активно используют пользовательский контент. По данным исследования, от 17% до 23% всех источников, на которые опираются подобные системы, приходится на Reddit, Wikipedia, форумы, Quora и другие площадки с открытым редактированием. Причем Reddit оказался главным поставщиком такой информации.

Этим и решили воспользоваться злоумышленники. Исследователи описали атаку под названием WARP (Web Agent Retrieval Poisoning). Схема проста: сначала мошенник находит популярную тему, которая часто попадает в результаты поиска ИИ. Затем он добавляет туда рекламную или ложную информацию, замаскированную под обычный пользовательский комментарий.

 

После индексации поисковиками этот фрагмент начинает попадать в выборку ИИ-агентов и воспринимается ими как достоверный источник.

Самое неприятное, что для атаки не нужно взламывать нейросеть, серверы разработчика или базы данных. Достаточно отредактировать общедоступную страницу.

В ходе экспериментов даже короткая вставка примерно из 13 слов приводила к тому, что фейковые рекомендации появлялись в ответах ИИ в 38–51% случаев. А если вредоносный текст добавлялся в несколько источников одновременно, эффективность атаки становилась еще выше.

Исследователи приводят показательные примеры. Так, вымышленная криптовалюта BananaCoin неожиданно начала фигурировать в инвестиционных рекомендациях наряду с Bitcoin и Ethereum. Несуществующее приложение знакомств SilverPath оказалось лучшим сервисом для разведенных мужчин старше 50 лет. А фейковый сервис CancelEase ИИ советовал для отмены подписки Xfinity.

Эксперты предупреждают: проблема носит системный характер. Пока ИИ доверяет информации из открытого интернета и использует её как доказательство в своих ответах, злоумышленники могут манипулировать результатами практически без технических навыков.

Супер-ИИ для взлома пока не появился, но атаки уже поставили на конвейер

Искусственный интеллект пока не научился самостоятельно изобретать волшебные способы взлома любой системы. Зато он уже помогает злоумышленникам автоматизировать известные атаки и запускать их сразу против множества организаций, заявил руководитель BI.ZONE Threat Intelligence Олег Скулкин на конференции OFFZONE 2026.

По словам эксперта, зафиксированы атаки, которые ИИ-агенты проводят почти без присмотра оператора.

Человек задаёт цель, а система самостоятельно ищет слабые места и пытается развить проникновение. Успех при этом зависит не от внезапного цифрового гения, а от качества защиты жертвы.

ИИ пока не создаёт принципиально новых техник, но резко повышает скорость и масштаб. Если раньше атакующий физически не успевал проверить тысячи компаний, агентская система может делать это круглосуточно. В результате привычная стратегия «мы никому не интересны» окончательно отправляется на свалку.

«Если сто злоумышленников автоматизируют с помощью ИИ жизненный цикл атаки и будут бесконечно пытаться взломать разные организации, уже не получится избежать атаки просто потому, что о тебе не знают», — предупредил Скулкин.

Отдельная угроза растёт внутри самих компаний. По данным BI.ZONE SOC, ИИ-агентов используют до 72% организаций. Такие системы подключают к репозиториям кода, облачной инфраструктуре, внутренним API и конфиденциальным документам.

Если агент с широкими полномочиями будет скомпрометирован, злоумышленник получит не просто точку входа, а пропуск сразу в несколько корпоративных систем.

Об этом же риске предупреждали эксперты на прошедшем на этой неделе AM Live, прогнозирую рост атак через скомпрометированные «нечеловеческие» привилегированные учетные записи (Non-Human Identities).

RSS: Новости на портале Anti-Malware.ru