Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Тестирование поискового ChatGPT показало, что в нынешнем виде проект уязвим к злоупотреблениям. Умного помощника можно заставить выдавать недостоверные и даже вредоносные результаты с помощью скрытого текста на веб-страницах.

Доступ к поисковой системе на основе ИИ-технологий OpenAI открыла в рамках платной подписки два месяца назад. На прошлой неделе новый сервис подключили всем зарегистрированным пользователям ChatGPT, с предложением назначить его поисковиком по умолчанию.

К сожалению, расширение возможностей умного чат-бота не избавило его от проблем, характерных для всех ИИ-инструментов. Его по-прежнему можно сбить с толку объемными текстами и заставить следовать сторонним инструкциям, применив инъекцию стимула (prompt injection).

Так, злоумышленник может создать поддельную страницу продукта с многочисленными положительными отзывами в виде скрытого текста, и ChatGPT ответит утвердительно на вопрос о целесообразности покупки.

Если включить в скрытый текст указание всегда расхваливать товар, ИИ будет упорно его выполнять даже при обилии отрицательных отзывов (а в случае с потенциально опасным кодом — предупреждений об угрозе).

«Большие языковые модели очень доверчивы, почти как дети, — пояснил для The Guardian эксперт Карстен Ноль (Karsten Nohl) из Security Research Labs. — С обширной памятью и минимальной способностью давать субъективную оценку. Нельзя принимать на веру рассказ ребенка о том, что он где-то услышал».

Интернет-поиск по запросу — новая сфера деятельности для ИИ-ассистента, которого к тому же легко обмануть. У него пока нет опыта поисковика Google, давно научившегося игнорить сайты со скрытым контентом либо задвигать их на последние позиции выдачи.

 

О возможных ошибках ChatGPT и необходимости проверки важной информации пользователей предупреждают в заявлении OpenAI об отсутствии гарантий — оно приведено в подвале каждой страницы веб-сервиса.

64% ИИ-приложений для iPhone оказались с дырой в защите

Исследователи из Wake Forest University обнаружили масштабную проблему в экосистеме iOS-приложений с искусственным интеллектом. Анализ показал, что сотни программ фактически оставляют открытыми ключи доступа к нейросетям и серверным компонентам, что позволяет злоумышленникам использовать их инфраструктуру в своих целях.

Для исследования специалисты разработали инструмент LLMKeyLens, который анализирует сетевой трафик приложений и выявляет утечки учетных данных, используемых для работы с OpenAI, Gemini, DeepSeek, Mistral и другими ИИ-сервисами.

Из более чем 38 тысяч приложений App Store исследователи отобрали 444 программы с подтверждёнными функциями на базе больших языковых моделей. Результаты оказались неприятными: у 282 приложений, или 64% выборки, были обнаружены утечки ключей доступа или других механизмов подключения к ИИ-сервисам.

 

Причем в 146 случаях проблема позволяла напрямую использовать чужие ресурсы. Некоторые приложения передавали API-ключи OpenAI и других провайдеров в открытом виде прямо в сетевых запросах. Другие скрывали ключи на сервере, но оставляли открытыми прокси-серверы, через которые любой желающий мог отправлять запросы к нейросетям.

Особенно часто проблемы встречались в приложениях для продуктивности, обучения, развлечений, здоровья и образа жизни. Лидером по доле уязвимых программ стала категория Health & Fitness.

Исследователи также обнаружили крайне небрежное отношение к защите токенов доступа. В некоторых случаях JWT-токены действовали годами, а отдельные системы выдавали их со сроком действия до 100 лет. Более того, некоторые серверы принимали даже просроченные токены.

После обнаружения проблем разработчиков всех 282 приложений уведомили об уязвимостях. Через 90 дней специалисты провели повторную проверку. Патчи выпустили только 78 приложений — это около 28% от числа уязвимых программ. Еще 66 приложений остались доступными для эксплуатации даже после уведомления.

Авторы исследования считают, что причина проблемы проста: многие разработчики стремятся максимально быстро интегрировать ИИ-функции и уделяют недостаточно внимания защите инфраструктуры.

RSS: Новости на портале Anti-Malware.ru