13 слов против ИИ: Reddit и Wikipedia стали оружием против нейросетей

13 слов против ИИ: Reddit и Wikipedia стали оружием против нейросетей

13 слов против ИИ: Reddit и Wikipedia стали оружием против нейросетей

Исследователи из Cornell Tech обнаружили неприятную проблему у современных ИИ-агентов для глубокого поиска и анализа информации. Оказалось, что для обмана таких систем иногда достаточно добавить всего несколько слов в популярную тему на Reddit или внести небольшую правку в статью Wikipedia.

Речь идет о так называемых агентах углублённого исследования — системах вроде ChatGPT Deep Research, Google Gemini и других инструментов, которые самостоятельно ищут информацию в интернете, анализируют десятки источников и формируют подробные отчеты со ссылками.

Проблема в том, что такие ИИ активно используют пользовательский контент. По данным исследования, от 17% до 23% всех источников, на которые опираются подобные системы, приходится на Reddit, Wikipedia, форумы, Quora и другие площадки с открытым редактированием. Причем Reddit оказался главным поставщиком такой информации.

Этим и решили воспользоваться злоумышленники. Исследователи описали атаку под названием WARP (Web Agent Retrieval Poisoning). Схема проста: сначала мошенник находит популярную тему, которая часто попадает в результаты поиска ИИ. Затем он добавляет туда рекламную или ложную информацию, замаскированную под обычный пользовательский комментарий.

 

После индексации поисковиками этот фрагмент начинает попадать в выборку ИИ-агентов и воспринимается ими как достоверный источник.

Самое неприятное, что для атаки не нужно взламывать нейросеть, серверы разработчика или базы данных. Достаточно отредактировать общедоступную страницу.

В ходе экспериментов даже короткая вставка примерно из 13 слов приводила к тому, что фейковые рекомендации появлялись в ответах ИИ в 38–51% случаев. А если вредоносный текст добавлялся в несколько источников одновременно, эффективность атаки становилась еще выше.

Исследователи приводят показательные примеры. Так, вымышленная криптовалюта BananaCoin неожиданно начала фигурировать в инвестиционных рекомендациях наряду с Bitcoin и Ethereum. Несуществующее приложение знакомств SilverPath оказалось лучшим сервисом для разведенных мужчин старше 50 лет. А фейковый сервис CancelEase ИИ советовал для отмены подписки Xfinity.

Эксперты предупреждают: проблема носит системный характер. Пока ИИ доверяет информации из открытого интернета и использует её как доказательство в своих ответах, злоумышленники могут манипулировать результатами практически без технических навыков.

Российский софт готовят к отзыву западных сертификатов

Российская ИТ-отрасль готовится к сценарию, который ещё недавно казался маловероятным: западные удостоверяющие центры могут начать массово отзывать сертификаты подписи программного кода у российских разработчиков. Чтобы не остаться без работающего софта, крупнейшие игроки рынка уже создают собственную систему доверия.

Как выяснил РБК, на базе Национального технологического центра цифровой криптографии работает группа «Единое пространство доверия», в которую входят «Астра», «Сбертех», «Базальт СПО», «КриптоПро», «ИнфоТеКС», «Лаборатория Касперского» и другие компании.

Они разрабатывают Отраслевой технологический удостоверяющий центр (ОТУЦ), который должен заменить ушедшие западные сервисы выдачи сертификатов подписи кода.

Проект уже вышел за рамки теории. По словам главы «КриптоПро» Станислава Смышляева, центр работает в тестовом режиме, а разработчики Astra Linux, «Альт», РЕД ОС, ROSA, «Авроры» и ряда ИБ-продуктов уже протестировали выпуск сертификатов и проверку подписанного программного обеспечения.

Проблема стала особенно актуальной после того, как в июне японская GlobalSign начала отзывать сертификаты безопасности у российских сайтов. В отрасли опасаются, что следующим шагом могут стать сертификаты для подписи программ.

Если такой сценарий реализуется, последствия будут серьезными. Операционные системы перестанут доверять программам с отозванными сертификатами: где-то появятся предупреждения, а где-то запуск может быть полностью заблокирован. Для разработчиков это означает риск остановки поставок обновлений и новых версий продуктов.

Особенно болезненной ситуация может стать для компаний, чьи решения работают в Windows и других зарубежных операционных системах. По данным рынка, Windows до сих пор используется более чем в 80% российских организаций.

В Минцифры утверждают, что на случай проблем уже есть резервный план. Национальный удостоверяющий центр получил право выпускать отечественные сертификаты подписи кода, а параллельно тестируется использование российских криптографических алгоритмов ГОСТ в Linux и Android.

По сути, отрасль строит собственный аналог национальной платежной системы, только для программного обеспечения. Логика простая: если зарубежная инфраструктура доверия однажды отключится, российский софт должен продолжить работать без сбоев и риска подмены кода злоумышленниками.

RSS: Новости на портале Anti-Malware.ru