Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Тестирование поискового ChatGPT показало, что в нынешнем виде проект уязвим к злоупотреблениям. Умного помощника можно заставить выдавать недостоверные и даже вредоносные результаты с помощью скрытого текста на веб-страницах.

Доступ к поисковой системе на основе ИИ-технологий OpenAI открыла в рамках платной подписки два месяца назад. На прошлой неделе новый сервис подключили всем зарегистрированным пользователям ChatGPT, с предложением назначить его поисковиком по умолчанию.

К сожалению, расширение возможностей умного чат-бота не избавило его от проблем, характерных для всех ИИ-инструментов. Его по-прежнему можно сбить с толку объемными текстами и заставить следовать сторонним инструкциям, применив инъекцию стимула (prompt injection).

Так, злоумышленник может создать поддельную страницу продукта с многочисленными положительными отзывами в виде скрытого текста, и ChatGPT ответит утвердительно на вопрос о целесообразности покупки.

Если включить в скрытый текст указание всегда расхваливать товар, ИИ будет упорно его выполнять даже при обилии отрицательных отзывов (а в случае с потенциально опасным кодом — предупреждений об угрозе).

«Большие языковые модели очень доверчивы, почти как дети, — пояснил для The Guardian эксперт Карстен Ноль (Karsten Nohl) из Security Research Labs. — С обширной памятью и минимальной способностью давать субъективную оценку. Нельзя принимать на веру рассказ ребенка о том, что он где-то услышал».

Интернет-поиск по запросу — новая сфера деятельности для ИИ-ассистента, которого к тому же легко обмануть. У него пока нет опыта поисковика Google, давно научившегося игнорить сайты со скрытым контентом либо задвигать их на последние позиции выдачи.

 

О возможных ошибках ChatGPT и необходимости проверки важной информации пользователей предупреждают в заявлении OpenAI об отсутствии гарантий — оно приведено в подвале каждой страницы веб-сервиса.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Мошенники маскируются под налоговую службу и крадут аккаунты Госуслуг

На фоне массовых рассылок уведомлений и напоминаний об уплате налогов перед 1 декабря активизировались злоумышленники, выдающие себя за сотрудников налоговых органов. Их цель — получить доступ к аккаунтам на Госуслугах и завладеть персональными данными граждан.

Как сообщает телеграм-канал «Лапша-медиа», в своих схемах мошенники используют разные поводы для контакта с жертвами:

  • неуплаченные налоги;
  • налоговые задолженности;
  • непредоставление документов;
  • необходимость подачи декларации.

Связаться с потенциальными жертвами аферисты могут через мессенджеры или электронную почту. Они представляются инспекторами и предлагают записаться на приём в налоговую или лично явиться для «решения проблемы».

Главная цель злоумышленников — получить одноразовые коды для входа на Госуслуги или авторизации в других сервисах, включая онлайн-банки. В некоторых случаях мошенники убеждают перейти по вредоносной ссылке или установить приложение.

Иногда жертвам отправляют ссылку для «заполнения налоговой декларации». На деле она ведёт на фишинговый сайт, куда введённые данные попадают напрямую к злоумышленникам.

В «Лапша-медиа» напоминают: официальные органы, включая налоговую службу, никогда не просят сообщать коды авторизации и не предлагают устанавливать приложения по ссылке. Проверить информацию можно только на Госуслугах, на официальном сайте ФНС или по телефону горячей линии 8-800-222-22-22.

Похожие схемы мошенники использовали весной, когда поводом для обращения служили «налоговые вычеты».

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru