13 слов против ИИ: Reddit и Wikipedia стали оружием против нейросетей

13 слов против ИИ: Reddit и Wikipedia стали оружием против нейросетей

13 слов против ИИ: Reddit и Wikipedia стали оружием против нейросетей

Исследователи из Cornell Tech обнаружили неприятную проблему у современных ИИ-агентов для глубокого поиска и анализа информации. Оказалось, что для обмана таких систем иногда достаточно добавить всего несколько слов в популярную тему на Reddit или внести небольшую правку в статью Wikipedia.

Речь идет о так называемых агентах углублённого исследования — системах вроде ChatGPT Deep Research, Google Gemini и других инструментов, которые самостоятельно ищут информацию в интернете, анализируют десятки источников и формируют подробные отчеты со ссылками.

Проблема в том, что такие ИИ активно используют пользовательский контент. По данным исследования, от 17% до 23% всех источников, на которые опираются подобные системы, приходится на Reddit, Wikipedia, форумы, Quora и другие площадки с открытым редактированием. Причем Reddit оказался главным поставщиком такой информации.

Этим и решили воспользоваться злоумышленники. Исследователи описали атаку под названием WARP (Web Agent Retrieval Poisoning). Схема проста: сначала мошенник находит популярную тему, которая часто попадает в результаты поиска ИИ. Затем он добавляет туда рекламную или ложную информацию, замаскированную под обычный пользовательский комментарий.

 

После индексации поисковиками этот фрагмент начинает попадать в выборку ИИ-агентов и воспринимается ими как достоверный источник.

Самое неприятное, что для атаки не нужно взламывать нейросеть, серверы разработчика или базы данных. Достаточно отредактировать общедоступную страницу.

В ходе экспериментов даже короткая вставка примерно из 13 слов приводила к тому, что фейковые рекомендации появлялись в ответах ИИ в 38–51% случаев. А если вредоносный текст добавлялся в несколько источников одновременно, эффективность атаки становилась еще выше.

Исследователи приводят показательные примеры. Так, вымышленная криптовалюта BananaCoin неожиданно начала фигурировать в инвестиционных рекомендациях наряду с Bitcoin и Ethereum. Несуществующее приложение знакомств SilverPath оказалось лучшим сервисом для разведенных мужчин старше 50 лет. А фейковый сервис CancelEase ИИ советовал для отмены подписки Xfinity.

Эксперты предупреждают: проблема носит системный характер. Пока ИИ доверяет информации из открытого интернета и использует её как доказательство в своих ответах, злоумышленники могут манипулировать результатами практически без технических навыков.

Власти передумали запрещать иностранные нейросети в России

Идея быстро пересадить всю страну на отечественный ИИ отправляется на доработку. Из финальной версии законопроекта об искусственном интеллекте исчезли самые жёсткие ограничения, которые еще весной вызвали бурные споры у бизнеса и ИТ-отрасли.

Как выяснили «Известия», власти отказались от планов запрещать использование зарубежных нейросетей в России.

Более того, уже внедрённые иностранные ИИ-решения в критически важных сферах сферах — от госуправления до объектов КИИ — смогут работать как минимум до 2032 года. Правда, при одном условии: данные должны храниться и обрабатываться на территории России.

Ещё одна важная новость: частный бизнес никто не собирается заставлять переходить исключительно на российские большие языковые модели. Компании смогут сами выбирать, какие технологии использовать. Об этом заявил вице-премьер Дмитрий Григоренко.

Из законопроекта также исчезли положения, которые позволяли бы государству запрещать отдельные зарубежные нейросети. Не осталось и требования обучать российские ИИ-модели исключительно на отечественных данных. Смягчили даже вопрос маркировки контента: теперь разработчики должны лишь предоставить возможность помечать материалы, созданные с помощью ИИ, а не делать это в обязательном порядке.

По сути, документ стал заметно либеральнее. Теперь он касается только больших фундаментальных моделей, а небольшие нейросети и решения в области компьютерного зрения под его регулирование практически не попадают.

Эксперты считают такой разворот вполне логичным. Российский рынок уже давно использует зарубежные открытые модели вроде Qwen, DeepSeek и Llama как основу для собственных продуктов. Жёсткий запрет мог бы буквально остановить работу множества сервисов и затормозить внедрение ИИ в стране.

В отрасли признают: отечественные разработки активно развиваются, но полностью заменить лучшие зарубежные решения пока не могут. Поэтому переходный период до 2032 года выглядит скорее попыткой выиграть время для российских разработчиков, чем подготовкой к масштабному запрету.

RSS: Новости на портале Anti-Malware.ru