Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Тестирование поискового ChatGPT показало, что в нынешнем виде проект уязвим к злоупотреблениям. Умного помощника можно заставить выдавать недостоверные и даже вредоносные результаты с помощью скрытого текста на веб-страницах.

Доступ к поисковой системе на основе ИИ-технологий OpenAI открыла в рамках платной подписки два месяца назад. На прошлой неделе новый сервис подключили всем зарегистрированным пользователям ChatGPT, с предложением назначить его поисковиком по умолчанию.

К сожалению, расширение возможностей умного чат-бота не избавило его от проблем, характерных для всех ИИ-инструментов. Его по-прежнему можно сбить с толку объемными текстами и заставить следовать сторонним инструкциям, применив инъекцию стимула (prompt injection).

Так, злоумышленник может создать поддельную страницу продукта с многочисленными положительными отзывами в виде скрытого текста, и ChatGPT ответит утвердительно на вопрос о целесообразности покупки.

Если включить в скрытый текст указание всегда расхваливать товар, ИИ будет упорно его выполнять даже при обилии отрицательных отзывов (а в случае с потенциально опасным кодом — предупреждений об угрозе).

«Большие языковые модели очень доверчивы, почти как дети, — пояснил для The Guardian эксперт Карстен Ноль (Karsten Nohl) из Security Research Labs. — С обширной памятью и минимальной способностью давать субъективную оценку. Нельзя принимать на веру рассказ ребенка о том, что он где-то услышал».

Интернет-поиск по запросу — новая сфера деятельности для ИИ-ассистента, которого к тому же легко обмануть. У него пока нет опыта поисковика Google, давно научившегося игнорить сайты со скрытым контентом либо задвигать их на последние позиции выдачи.

 

О возможных ошибках ChatGPT и необходимости проверки важной информации пользователей предупреждают в заявлении OpenAI об отсутствии гарантий — оно приведено в подвале каждой страницы веб-сервиса.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Депутат Немкин назвал важной мерой усиление ответственности для дропов

Член Комитета Госдумы по информационной политике Антон Немкин назвал инициативу по введению уголовной ответственности за дропперство (посредничество при выводе средств, похищенных киберпреступниками и мошенниками) давно ожидаемым шагом.

Как отметил парламентарий в комментарии для «РИА Новости», без участия дропов большинство мошеннических схем просто не работает. В некоторых случаях, по его словам, их роль является ключевой.

Именно дропы, по словам Антона Немкина, обеспечивают вывод похищенных средств, что позволяет организаторам преступлений оставаться вне поля зрения правоохранительных органов. В результате каждый, кто соглашается участвовать в такой цепочке, становится её соучастником.

Последствия, как предупредил депутат, могут быть серьёзными уже сейчас, даже до вступления закона в силу: от блокировки банковских счетов до уголовного преследования. Прецеденты уже имеются. Так, в Санкт-Петербурге два человека были осуждены на три года лишения свободы с возмещением ущерба пенсионеру, у которого телефонные мошенники похитили почти 4 млн рублей. Осуждённые участвовали в обналичивании этих средств.

«Важно понимать: дроп — это не просто "исполнитель по глупости". Даже если человек не знает всей схемы и "просто дал карту за процент" — он становится участником преступной группы. Это не административное правонарушение, а соучастие в серьёзных преступлениях, включая мошенничество, отмывание денег и содействие кибератакам. Введение уголовной ответственности закроет эту "серую зону" и сделает наказание более чётким и неотвратимым», — подчеркнул Антон Немкин.

Законопроект о введении уголовной ответственности за участие в дропперских схемах уже поддержан правительственной комиссией и в ближайшее время будет внесён в Госдуму.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru