13 слов против ИИ: Reddit и Wikipedia стали оружием против нейросетей

13 слов против ИИ: Reddit и Wikipedia стали оружием против нейросетей

13 слов против ИИ: Reddit и Wikipedia стали оружием против нейросетей

Исследователи из Cornell Tech обнаружили неприятную проблему у современных ИИ-агентов для глубокого поиска и анализа информации. Оказалось, что для обмана таких систем иногда достаточно добавить всего несколько слов в популярную тему на Reddit или внести небольшую правку в статью Wikipedia.

Речь идет о так называемых агентах углублённого исследования — системах вроде ChatGPT Deep Research, Google Gemini и других инструментов, которые самостоятельно ищут информацию в интернете, анализируют десятки источников и формируют подробные отчеты со ссылками.

Проблема в том, что такие ИИ активно используют пользовательский контент. По данным исследования, от 17% до 23% всех источников, на которые опираются подобные системы, приходится на Reddit, Wikipedia, форумы, Quora и другие площадки с открытым редактированием. Причем Reddit оказался главным поставщиком такой информации.

Этим и решили воспользоваться злоумышленники. Исследователи описали атаку под названием WARP (Web Agent Retrieval Poisoning). Схема проста: сначала мошенник находит популярную тему, которая часто попадает в результаты поиска ИИ. Затем он добавляет туда рекламную или ложную информацию, замаскированную под обычный пользовательский комментарий.

 

После индексации поисковиками этот фрагмент начинает попадать в выборку ИИ-агентов и воспринимается ими как достоверный источник.

Самое неприятное, что для атаки не нужно взламывать нейросеть, серверы разработчика или базы данных. Достаточно отредактировать общедоступную страницу.

В ходе экспериментов даже короткая вставка примерно из 13 слов приводила к тому, что фейковые рекомендации появлялись в ответах ИИ в 38–51% случаев. А если вредоносный текст добавлялся в несколько источников одновременно, эффективность атаки становилась еще выше.

Исследователи приводят показательные примеры. Так, вымышленная криптовалюта BananaCoin неожиданно начала фигурировать в инвестиционных рекомендациях наряду с Bitcoin и Ethereum. Несуществующее приложение знакомств SilverPath оказалось лучшим сервисом для разведенных мужчин старше 50 лет. А фейковый сервис CancelEase ИИ советовал для отмены подписки Xfinity.

Эксперты предупреждают: проблема носит системный характер. Пока ИИ доверяет информации из открытого интернета и использует её как доказательство в своих ответах, злоумышленники могут манипулировать результатами практически без технических навыков.

Российские физики научили жидкий свет запоминать данные

Учёные из Российского квантового центра, МФТИ и СПбГУ показали, что поляритонный конденсат способен сохранять поляризацию светового сигнала на протяжении сотен пикосекунд — в сотни раз дольше жизни отдельной квазичастицы. В перспективе эффект можно использовать для создания оптической памяти, которой не придётся постоянно переводить фотоны в электрические сигналы и обратно.

Поляритоны возникают при сильном взаимодействии света с электронными возбуждениями в полупроводнике.

В большом количестве они образуют коллективное состояние, которое за необычные свойства называют жидким светом. Отдельный поляритон исчезает почти мгновенно, однако оставленная входным импульсом поляризация продолжает жить во всём конденсате.

Система не клонирует фотон и не сохраняет его целиком, зато запоминает состояние поляризации даже очень слабого сигнала.

Несколько сотен пикосекунд звучат не особенно впечатляюще рядом с флешкой, которая хранит отпускные фотографии годами. Но внутри оптического процессора это солидный запас времени: свет успевает пройти между вычислительными узлами, не превращаясь по дороге в электричество.

Такой подход способен упростить архитектуру фотонных и квантовых вычислителей, ускорить обмен данными и снизить энергопотребление. Особенно важно, что поляритонные системы можно создавать в материалах, работающих при комнатной температуре, а не только в лабораторном морозильнике.

Результаты опубликованы в журнале Physical Review Letters. Российский квантовый центр рассматривает поляритонный конденсат как возможную основу для классической и однофотонной памяти.

RSS: Новости на портале Anti-Malware.ru