13 слов против ИИ: Reddit и Wikipedia стали оружием против нейросетей

13 слов против ИИ: Reddit и Wikipedia стали оружием против нейросетей

13 слов против ИИ: Reddit и Wikipedia стали оружием против нейросетей

Исследователи из Cornell Tech обнаружили неприятную проблему у современных ИИ-агентов для глубокого поиска и анализа информации. Оказалось, что для обмана таких систем иногда достаточно добавить всего несколько слов в популярную тему на Reddit или внести небольшую правку в статью Wikipedia.

Речь идет о так называемых агентах углублённого исследования — системах вроде ChatGPT Deep Research, Google Gemini и других инструментов, которые самостоятельно ищут информацию в интернете, анализируют десятки источников и формируют подробные отчеты со ссылками.

Проблема в том, что такие ИИ активно используют пользовательский контент. По данным исследования, от 17% до 23% всех источников, на которые опираются подобные системы, приходится на Reddit, Wikipedia, форумы, Quora и другие площадки с открытым редактированием. Причем Reddit оказался главным поставщиком такой информации.

Этим и решили воспользоваться злоумышленники. Исследователи описали атаку под названием WARP (Web Agent Retrieval Poisoning). Схема проста: сначала мошенник находит популярную тему, которая часто попадает в результаты поиска ИИ. Затем он добавляет туда рекламную или ложную информацию, замаскированную под обычный пользовательский комментарий.

 

После индексации поисковиками этот фрагмент начинает попадать в выборку ИИ-агентов и воспринимается ими как достоверный источник.

Самое неприятное, что для атаки не нужно взламывать нейросеть, серверы разработчика или базы данных. Достаточно отредактировать общедоступную страницу.

В ходе экспериментов даже короткая вставка примерно из 13 слов приводила к тому, что фейковые рекомендации появлялись в ответах ИИ в 38–51% случаев. А если вредоносный текст добавлялся в несколько источников одновременно, эффективность атаки становилась еще выше.

Исследователи приводят показательные примеры. Так, вымышленная криптовалюта BananaCoin неожиданно начала фигурировать в инвестиционных рекомендациях наряду с Bitcoin и Ethereum. Несуществующее приложение знакомств SilverPath оказалось лучшим сервисом для разведенных мужчин старше 50 лет. А фейковый сервис CancelEase ИИ советовал для отмены подписки Xfinity.

Эксперты предупреждают: проблема носит системный характер. Пока ИИ доверяет информации из открытого интернета и использует её как доказательство в своих ответах, злоумышленники могут манипулировать результатами практически без технических навыков.

Low-Code в ИБ: как собирать процессы без разработки с нуля

Рынок информационной безопасности всё чаще требует не масштабных платформ на вырост, а быстрых и понятных решений для конкретных задач — обработки инцидентов, управления уязвимостями, интеграции средств защиты и автоматизации рутинных операций.

На этом фоне всё больше внимания привлекают платформы класса Low-Code / No-Code, позволяющие создавать рабочие процессы без полноценной разработки.

Один из таких примеров — платформа Security Vision, о которой рассказала руководитель отдела разработки продуктов компании Ева Беляева в эфире AM Talk.

По сути, Low-Code / No-Code позволяет собирать процессы из готовых блоков и логических схем вместо написания тысяч строк кода. Если специалист понимает, как выполняется задача вручную, он может перенести её логику в визуальный конструктор и автоматизировать процесс.

При этом разработчики никуда не исчезают. Для сложных интеграций и взаимодействия с конечными системами по-прежнему могут использоваться скрипты и программный код. Но значительная часть бизнес-логики переносится в визуальную среду, что заметно ускоряет внедрение новых решений.

В Security Vision такой подход используется сразу в двух направлениях. Первое — создание готовых ИБ-продуктов, включая решения для управления активами, уязвимостями и инцидентами. Второе — предоставление самой платформы заказчикам и партнёрам для самостоятельной разработки собственных решений.

Одним из главных преимуществ считается сокращение времени вывода продуктов на рынок. Вместо формирования полноценной команды разработчиков компания может обучить работе с платформой инженеров и аналитиков, а затем быстро запускать новые процессы и сервисы.

Есть и реальные кейсы. В одном из проектов заказчик отказался от коробочного решения и построил собственную систему на базе платформы Security Vision. Для этого потребовалась команда фактически из полутора специалистов — инженера и аналитика. На создание рабочего продукта ушло около шести месяцев.

Порог входа в платформу называют относительно невысоким. Быстрее всего её осваивают специалисты по информационной безопасности и разработчики. Базовое обучение занимает от двух недель до месяца, а программа стажировки для студентов рассчитана на три месяца.

В самой Security Vision считают, что будущее таких платформ — не просто в автоматизации отдельных задач, а в формировании целых экосистем решений. Чем больше процессов удаётся перевести из ручного режима в конструктор, тем быстрее бизнес получает результат и тем меньше зависит от длительных циклов классической разработки.

Подробнее читайте в нашей большой статье.

RSS: Новости на портале Anti-Malware.ru