Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Тестирование поискового ChatGPT показало, что в нынешнем виде проект уязвим к злоупотреблениям. Умного помощника можно заставить выдавать недостоверные и даже вредоносные результаты с помощью скрытого текста на веб-страницах.

Доступ к поисковой системе на основе ИИ-технологий OpenAI открыла в рамках платной подписки два месяца назад. На прошлой неделе новый сервис подключили всем зарегистрированным пользователям ChatGPT, с предложением назначить его поисковиком по умолчанию.

К сожалению, расширение возможностей умного чат-бота не избавило его от проблем, характерных для всех ИИ-инструментов. Его по-прежнему можно сбить с толку объемными текстами и заставить следовать сторонним инструкциям, применив инъекцию стимула (prompt injection).

Так, злоумышленник может создать поддельную страницу продукта с многочисленными положительными отзывами в виде скрытого текста, и ChatGPT ответит утвердительно на вопрос о целесообразности покупки.

Если включить в скрытый текст указание всегда расхваливать товар, ИИ будет упорно его выполнять даже при обилии отрицательных отзывов (а в случае с потенциально опасным кодом — предупреждений об угрозе).

«Большие языковые модели очень доверчивы, почти как дети, — пояснил для The Guardian эксперт Карстен Ноль (Karsten Nohl) из Security Research Labs. — С обширной памятью и минимальной способностью давать субъективную оценку. Нельзя принимать на веру рассказ ребенка о том, что он где-то услышал».

Интернет-поиск по запросу — новая сфера деятельности для ИИ-ассистента, которого к тому же легко обмануть. У него пока нет опыта поисковика Google, давно научившегося игнорить сайты со скрытым контентом либо задвигать их на последние позиции выдачи.

 

О возможных ошибках ChatGPT и необходимости проверки важной информации пользователей предупреждают в заявлении OpenAI об отсутствии гарантий — оно приведено в подвале каждой страницы веб-сервиса.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Positive Technologies выпустила первую российскую DSP

На конференции Positive Security Day компания Positive Technologies объявила о начале продаж PT Data Security — первой в России единой платформы для защиты данных (DSP). На пресс-конференции, посвящённой запуску продукта, Александр Якимов отметил, что главная цель решения — обнаруживать то, что действительно нужно защищать.

По его словам, существующие решения в компаниях часто не позволяют получить полное представление о том, какие данные хранятся на различных ресурсах и кто имеет к ним доступ.

Менеджер по работе с регуляторами Rambler&Co Майя Картонис рассказала, что нередко компании случайно обнаруживают, что важные данные, в том числе регулируемые, хранятся в неположенных местах. Это особенно касается кадровой информации — например, резюме сотрудников.

Она поделилась опытом раннего тестирования PT Data Security в рамках программы «Ранние ПТашки» и подчеркнула, что использование продукта помогло решить целый ряд задач, которые ранее можно было выполнять только вручную — что практически невозможно в масштабах крупного медиахолдинга.

Руководитель направления защиты данных и приложений компании «К2 Кибербезопасность» Вадим Католик представил результаты исследования «От DLP к DSP: трансформация подходов к защите данных». Оно показало, что в российских организациях в среднем используется от 6 до 10 различных решений для защиты информации.

Однако они разрозненны и не дают целостной картины, оставляя множество «слепых зон». При этом ужесточение требований регуляторов вынуждает компании наводить порядок в своих данных — и решения класса DSP призваны помочь в этом процессе.

О возможностях продукта рассказал руководитель развития бизнеса по защите данных Positive Technologies Виктор Рыжков. По его словам, PT Data Security решает три ключевые задачи:

  • инвентаризация хранилищ данных;
  • классификация информации;
  • контроль доступа.

PT Data Security автоматически сканирует файловые хранилища в режиме только чтения. Модуль классификации данных использует технологии искусственного интеллекта, которые позволяют адаптировать систему под специфику конкретной организации.

Разработка продукта началась в марте 2024 года, а подготовительные работы стартовали летом 2023-го. Первый прототип появился осенью 2024 года. В 2025 году началось тестирование решения в рамках программы «Ранние ПТашки», в котором приняли участие, в частности, «К2 Кибербезопасность» и Rambler&Co.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru