Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Тестирование поискового ChatGPT показало, что в нынешнем виде проект уязвим к злоупотреблениям. Умного помощника можно заставить выдавать недостоверные и даже вредоносные результаты с помощью скрытого текста на веб-страницах.

Доступ к поисковой системе на основе ИИ-технологий OpenAI открыла в рамках платной подписки два месяца назад. На прошлой неделе новый сервис подключили всем зарегистрированным пользователям ChatGPT, с предложением назначить его поисковиком по умолчанию.

К сожалению, расширение возможностей умного чат-бота не избавило его от проблем, характерных для всех ИИ-инструментов. Его по-прежнему можно сбить с толку объемными текстами и заставить следовать сторонним инструкциям, применив инъекцию стимула (prompt injection).

Так, злоумышленник может создать поддельную страницу продукта с многочисленными положительными отзывами в виде скрытого текста, и ChatGPT ответит утвердительно на вопрос о целесообразности покупки.

Если включить в скрытый текст указание всегда расхваливать товар, ИИ будет упорно его выполнять даже при обилии отрицательных отзывов (а в случае с потенциально опасным кодом — предупреждений об угрозе).

«Большие языковые модели очень доверчивы, почти как дети, — пояснил для The Guardian эксперт Карстен Ноль (Karsten Nohl) из Security Research Labs. — С обширной памятью и минимальной способностью давать субъективную оценку. Нельзя принимать на веру рассказ ребенка о том, что он где-то услышал».

Интернет-поиск по запросу — новая сфера деятельности для ИИ-ассистента, которого к тому же легко обмануть. У него пока нет опыта поисковика Google, давно научившегося игнорить сайты со скрытым контентом либо задвигать их на последние позиции выдачи.

 

О возможных ошибках ChatGPT и необходимости проверки важной информации пользователей предупреждают в заявлении OpenAI об отсутствии гарантий — оно приведено в подвале каждой страницы веб-сервиса.

Теневой ИИ берут под контроль: СберТех представил Platform V SOWA AI

На конференции ЦИПР-2026 компания СберТех объявила о запуске Platform V SOWA AI — решения для централизованного управления доступом к системам искусственного интеллекта внутри организаций. Появление подобных инструментов связано с растущей популярностью ИИ-сервисов в корпоративной среде.

Во многих компаниях различные подразделения самостоятельно подключают большие языковые модели и ИИ-инструменты для решения рабочих задач.

В результате возникает так называемый теневой ИИ — набор разрозненных сервисов, использование которых зачастую остается вне поля зрения служб информационной безопасности.

По задумке разработчика, Platform V SOWA AI должна выступать единой точкой доступа ко всем ИИ-сервисам компании. Через платформу проходят запросы сотрудников к большим языковым моделям, а также ответы, которые эти модели формируют.

Система позволяет контролировать права доступа пользователей, отслеживать обращения к ИИ в режиме реального времени и предотвращать передачу конфиденциальной информации во внешние сервисы. Кроме того, платформа ведет аудит взаимодействия с ИИ и поддерживает применение единых корпоративных политик безопасности.

Еще одна задача решения — упростить подключение новых моделей. Вместо отдельной настройки механизмов аутентификации, аудита и контроля для каждого ИИ-сервиса эти функции переносятся на уровень единого инфраструктурного шлюза.

В компании также заявляют о возможности выявления аномальной активности и попыток обхода установленных ограничений при работе с большими языковыми моделями.

Решение ориентировано на крупные организации из различных отраслей, включая финансовый сектор, телекоммуникации, ретейл и промышленность.

Интерес к подобным платформам закономерен: по мере того как искусственный интеллект становится частью повседневных бизнес-процессов, компании все чаще сталкиваются не столько с вопросом внедрения ИИ, сколько с необходимостью управлять его использованием и связанными с ним рисками. Platform V SOWA AI — один из примеров того, как рынок начинает отвечать на этот запрос.

RSS: Новости на портале Anti-Malware.ru