Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Тестирование поискового ChatGPT показало, что в нынешнем виде проект уязвим к злоупотреблениям. Умного помощника можно заставить выдавать недостоверные и даже вредоносные результаты с помощью скрытого текста на веб-страницах.

Доступ к поисковой системе на основе ИИ-технологий OpenAI открыла в рамках платной подписки два месяца назад. На прошлой неделе новый сервис подключили всем зарегистрированным пользователям ChatGPT, с предложением назначить его поисковиком по умолчанию.

К сожалению, расширение возможностей умного чат-бота не избавило его от проблем, характерных для всех ИИ-инструментов. Его по-прежнему можно сбить с толку объемными текстами и заставить следовать сторонним инструкциям, применив инъекцию стимула (prompt injection).

Так, злоумышленник может создать поддельную страницу продукта с многочисленными положительными отзывами в виде скрытого текста, и ChatGPT ответит утвердительно на вопрос о целесообразности покупки.

Если включить в скрытый текст указание всегда расхваливать товар, ИИ будет упорно его выполнять даже при обилии отрицательных отзывов (а в случае с потенциально опасным кодом — предупреждений об угрозе).

«Большие языковые модели очень доверчивы, почти как дети, — пояснил для The Guardian эксперт Карстен Ноль (Karsten Nohl) из Security Research Labs. — С обширной памятью и минимальной способностью давать субъективную оценку. Нельзя принимать на веру рассказ ребенка о том, что он где-то услышал».

Интернет-поиск по запросу — новая сфера деятельности для ИИ-ассистента, которого к тому же легко обмануть. У него пока нет опыта поисковика Google, давно научившегося игнорить сайты со скрытым контентом либо задвигать их на последние позиции выдачи.

 

О возможных ошибках ChatGPT и необходимости проверки важной информации пользователей предупреждают в заявлении OpenAI об отсутствии гарантий — оно приведено в подвале каждой страницы веб-сервиса.

Meta пропустила десятки рекламных объявлений с сексуализацией детей

Рекламная модерация Meta (признана экстремистской и запрещена в России, как и её соцсети ниже) снова показала себя во всей красе. За девять месяцев на Facebook, Instagram, Messenger и Threads появилось более 50 платных объявлений с сексуализированными изображениями несовершеннолетних, в том числе созданными с помощью ИИ.

Некоторые объявления крутились ещё в начале августа, выяснили исследователи Tech Transparency Project (TTP).

Речь не о публикациях случайных пользователей, затерявшихся в ленте. Это реклама, которую системы Meta проверили, одобрили и показали аудитории в США, Великобритании и более чем десяти странах Европы. Отдельные объявления увидели несколько тысяч человек. Часть из них вела на сервисы для раздевания людей на фотографиях и приложения с ИИ-порнографией.

Нарушения обнаружили в собственной библиотеке рекламы Meta. Причём некоторые материалы спокойно лежали там месяцами. Исследователи сообщили о них в Национальный центр помощи пропавшим и эксплуатируемым детям США, а журналисты WIRED обратились за комментарием к Meta. Только после этого компания удалила объявления.

В Meta заявили, что борются с сексуальной эксплуатацией, а большинство найденных объявлений якобы почти никто не увидел. Компания также сослалась на новую ИИ-систему, которая должна отсеивать запрещённую рекламу ещё при загрузке. Вот только часть объявлений появилась уже после её запуска. Более того, около 30 новых материалов исследователи нашли буквально перед публикацией расследования.

Некоторые объявления размещали аккаунты почти без подписчиков, а среди рекламодателей фигурировали китайские компании. Одно из приложений, на которые вела реклама, находилось в App Store. Apple удалила его после обращения WIRED.

RSS: Новости на портале Anti-Malware.ru