Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Тестирование поискового ChatGPT показало, что в нынешнем виде проект уязвим к злоупотреблениям. Умного помощника можно заставить выдавать недостоверные и даже вредоносные результаты с помощью скрытого текста на веб-страницах.

Доступ к поисковой системе на основе ИИ-технологий OpenAI открыла в рамках платной подписки два месяца назад. На прошлой неделе новый сервис подключили всем зарегистрированным пользователям ChatGPT, с предложением назначить его поисковиком по умолчанию.

К сожалению, расширение возможностей умного чат-бота не избавило его от проблем, характерных для всех ИИ-инструментов. Его по-прежнему можно сбить с толку объемными текстами и заставить следовать сторонним инструкциям, применив инъекцию стимула (prompt injection).

Так, злоумышленник может создать поддельную страницу продукта с многочисленными положительными отзывами в виде скрытого текста, и ChatGPT ответит утвердительно на вопрос о целесообразности покупки.

Если включить в скрытый текст указание всегда расхваливать товар, ИИ будет упорно его выполнять даже при обилии отрицательных отзывов (а в случае с потенциально опасным кодом — предупреждений об угрозе).

«Большие языковые модели очень доверчивы, почти как дети, — пояснил для The Guardian эксперт Карстен Ноль (Karsten Nohl) из Security Research Labs. — С обширной памятью и минимальной способностью давать субъективную оценку. Нельзя принимать на веру рассказ ребенка о том, что он где-то услышал».

Интернет-поиск по запросу — новая сфера деятельности для ИИ-ассистента, которого к тому же легко обмануть. У него пока нет опыта поисковика Google, давно научившегося игнорить сайты со скрытым контентом либо задвигать их на последние позиции выдачи.

 

О возможных ошибках ChatGPT и необходимости проверки важной информации пользователей предупреждают в заявлении OpenAI об отсутствии гарантий — оно приведено в подвале каждой страницы веб-сервиса.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Solar Dozor 8.2 получила шифрование трафика и расширенный контроль Linux

Группа компаний «Солар» представила новую версию своей DLP-системы Solar Dozor 8.2, предназначенной для предотвращения утечек данных и контроля корпоративных коммуникаций. Обновление усилило защиту по трём направлениям: теперь весь трафик между компонентами системы шифруется, почтовые серверы лучше защищены от несанкционированных подключений, а контроль над рабочими станциями на Linux и macOS стал шире.

По данным аналитиков «Солара», инсайдеры остаются основными участниками утечек информации. В 35% случаев данные утекают через мессенджеры, ещё 23% — через корпоративную почту и 15% — через публикации в открытых источниках и облачных хранилищах.

Главное изменение в версии 8.2 — переход на современные криптографические протоколы TLS 1.2 и 1.3. Теперь весь обмен данными между внутренними и внешними сервисами Solar Dozor по умолчанию защищён шифрованием, что предотвращает перехват или подмену сетевых пакетов.

Ещё одно важное улучшение — защита корпоративной почты. Система теперь блокирует попытки нелегитимных подключений к почтовому серверу и отправку писем от имени компании без авторизации. Настройку безопасного соединения можно выполнить прямо в веб-интерфейсе Solar Dozor, указав параметры SMTP-подключения. Это снижает риск фальсификации сообщений и утечки данных.

В новой версии также расширены функции Endpoint Agent. На Linux теперь можно контролировать запуск приложений — службы безопасности способны блокировать конкретные процессы, исполняемые файлы или целые каталоги (например, «Загрузки»). На macOS появилась возможность блокировать передачу сообщений и файлов через десктопную версию Telegram, что закрывает один из популярных каналов утечек.

Руководитель продукта Solar Dozor Мария Мозгалева отметила, что обновление сосредоточено на двух задачах — повышении защищённости самой платформы и расширении контроля над рабочими станциями:

«Контроль запуска приложений на Linux становится базовым требованием для корпоративной безопасности. В версии 8.2 мы сделали этот функционал стандартным инструментом для офицера безопасности».

Кроме технических улучшений, в Solar Dozor 8.2 переработан интерфейс и отчётность. Настройка технологии цифровых отпечатков (DIFI) теперь собрана в одном разделе, а для инцидентов и событий добавлены массовые операции — можно, например, сразу изменить статус или назначить ответственного.

Обновился и набор отчётов: появился новый отчёт о работе модуля File Crawler, который выгружается в CSV, а экспорт поисковых результатов теперь поддерживает CSV, HTML и XLSX. Это упрощает анализ событий и снижает нагрузку на специалистов ИБ.

Поддержка платформ тоже расширилась — Endpoint Agent для Linux теперь совместим с Debian 12, РЕД ОС 8 и AlterOS 9.5. Ранее «Солар» также подтвердила совместимость Solar Dozor с серверной ОС SberLinux OS Server (Platform V).

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru