Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Тестирование поискового ChatGPT показало, что в нынешнем виде проект уязвим к злоупотреблениям. Умного помощника можно заставить выдавать недостоверные и даже вредоносные результаты с помощью скрытого текста на веб-страницах.

Доступ к поисковой системе на основе ИИ-технологий OpenAI открыла в рамках платной подписки два месяца назад. На прошлой неделе новый сервис подключили всем зарегистрированным пользователям ChatGPT, с предложением назначить его поисковиком по умолчанию.

К сожалению, расширение возможностей умного чат-бота не избавило его от проблем, характерных для всех ИИ-инструментов. Его по-прежнему можно сбить с толку объемными текстами и заставить следовать сторонним инструкциям, применив инъекцию стимула (prompt injection).

Так, злоумышленник может создать поддельную страницу продукта с многочисленными положительными отзывами в виде скрытого текста, и ChatGPT ответит утвердительно на вопрос о целесообразности покупки.

Если включить в скрытый текст указание всегда расхваливать товар, ИИ будет упорно его выполнять даже при обилии отрицательных отзывов (а в случае с потенциально опасным кодом — предупреждений об угрозе).

«Большие языковые модели очень доверчивы, почти как дети, — пояснил для The Guardian эксперт Карстен Ноль (Karsten Nohl) из Security Research Labs. — С обширной памятью и минимальной способностью давать субъективную оценку. Нельзя принимать на веру рассказ ребенка о том, что он где-то услышал».

Интернет-поиск по запросу — новая сфера деятельности для ИИ-ассистента, которого к тому же легко обмануть. У него пока нет опыта поисковика Google, давно научившегося игнорить сайты со скрытым контентом либо задвигать их на последние позиции выдачи.

 

О возможных ошибках ChatGPT и необходимости проверки важной информации пользователей предупреждают в заявлении OpenAI об отсутствии гарантий — оно приведено в подвале каждой страницы веб-сервиса.

Подпишитесь на новости

Сдайся и получи награду: что адвокат Бух предлагал мнимому главе LockBit

«Известия» опубликовали расследование о переговорах американского адвоката Аркадия Буха с человеком, выдававшим себя за предполагаемого руководителя LockBit Дмитрия Хорошева. По версии издания, юрист предлагал собеседнику сдаться властям США и разделить награду за его поимку. Бух это отрицает.

В материале «Известий» говорится, что анонимный источник передал редакции видеозаписи разговоров. Сам источник утверждает, что назвался Хорошевым, чтобы получить ответы адвоката.

За информацию, позволяющую установить местонахождение Хорошева или добиться его задержания, американские власти предлагают до $10 млн. По интерпретации опубликованных записей, Бух обсуждал вариант, при котором две трети награды достались бы собеседнику, а треть — адвокату.

Издание также описывает предложения встретиться на нейтральной территории или организовать разговор с ФБР через Zoom.

Опрошенный «Известиями» американский адвокат поставил под сомнение правовую основу выплаты разыскиваемому награды за собственную явку и указал на возможный конфликт интересов.

Бух заявил редакции, что не подталкивает доверителей к сделкам: он обязан объяснять доступные стратегии, а решение принимает клиент. Предложение делить награду он отверг, назвав такую практику недопустимой.

В итоге перед нами спор о содержании переговоров с человеком под вымышленной личностью. Громкий сюжет есть; подтвержденного вывода, что адвокат продает клиентов ФБР, опубликованный материал сам по себе не устанавливает.

RSS: Новости на портале Anti-Malware.ru