Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Тестирование поискового ChatGPT показало, что в нынешнем виде проект уязвим к злоупотреблениям. Умного помощника можно заставить выдавать недостоверные и даже вредоносные результаты с помощью скрытого текста на веб-страницах.

Доступ к поисковой системе на основе ИИ-технологий OpenAI открыла в рамках платной подписки два месяца назад. На прошлой неделе новый сервис подключили всем зарегистрированным пользователям ChatGPT, с предложением назначить его поисковиком по умолчанию.

К сожалению, расширение возможностей умного чат-бота не избавило его от проблем, характерных для всех ИИ-инструментов. Его по-прежнему можно сбить с толку объемными текстами и заставить следовать сторонним инструкциям, применив инъекцию стимула (prompt injection).

Так, злоумышленник может создать поддельную страницу продукта с многочисленными положительными отзывами в виде скрытого текста, и ChatGPT ответит утвердительно на вопрос о целесообразности покупки.

Если включить в скрытый текст указание всегда расхваливать товар, ИИ будет упорно его выполнять даже при обилии отрицательных отзывов (а в случае с потенциально опасным кодом — предупреждений об угрозе).

«Большие языковые модели очень доверчивы, почти как дети, — пояснил для The Guardian эксперт Карстен Ноль (Karsten Nohl) из Security Research Labs. — С обширной памятью и минимальной способностью давать субъективную оценку. Нельзя принимать на веру рассказ ребенка о том, что он где-то услышал».

Интернет-поиск по запросу — новая сфера деятельности для ИИ-ассистента, которого к тому же легко обмануть. У него пока нет опыта поисковика Google, давно научившегося игнорить сайты со скрытым контентом либо задвигать их на последние позиции выдачи.

 

О возможных ошибках ChatGPT и необходимости проверки важной информации пользователей предупреждают в заявлении OpenAI об отсутствии гарантий — оно приведено в подвале каждой страницы веб-сервиса.

Positive Technologies запускает собственный антивирус

Positive Technologies продолжает усиливать направление, связанное с защитой рабочих станций и серверов. Компания объявила о запуске коммерческих продаж собственной антивирусной технологии, которая стала основой продукта MaxPatrol EPP — решения для предотвращения массовых и известных киберугроз.

Интересная деталь: в течение ближайших шести месяцев эта технология будет бесплатна для всех клиентов MaxPatrol EDR.

Старт продаж стал возможен благодаря работе совместной антивирусной лаборатории Positive Technologies и белорусского разработчика «ВИРУСБЛОКАДА», долю в котором компания приобрела в начале года.

По словам вендора, благодаря объединённой экспертизе объём антивирусной базы вырос на 25%. На расширение базы повлиял и анализ инструментов злоумышленников, который проводится в ходе расследований инцидентов.

Сегмент защиты конечных устройств остаётся одним из крупнейших на российском рынке кибербезопасности — его объём оценивается в 35 млрд рублей.

Positive Technologies планирует занять не менее 5% этой категории уже в 2026 году, продвигая концепцию MaxPatrol Endpoint Security. Она объединяет возможности MaxPatrol EDR и нового MaxPatrol EPP, усиливая защиту устройств от массовых и сложных атак.

Руководитель направления разработки защиты рабочих станций и серверов Сергей Лебедев отмечает, что спрос на комплексные решения растёт, а сами конечные устройства становятся одной из главных целей киберпреступников.

Объединение технологий «ВИРУСБЛОКАДА» с собственным анализом новейших инструментов злоумышленников позволило ускорить развитие антивирусной базы и повысить качество обнаружения угроз.

В итоге компания делает ставку на комплексный подход: сочетание EDR и EPP должно повысить устойчивость организаций к целевым и массовым атакам и предотвратить распространение опасных программ через пользовательские устройства.

RSS: Новости на портале Anti-Malware.ru