Deceptive Delight: джейлбрейк ИИ-моделей, использующий их благосклонность

Deceptive Delight: джейлбрейк ИИ-моделей, использующий их благосклонность

Deceptive Delight: джейлбрейк ИИ-моделей, использующий их благосклонность

В Palo Alto Networks разработали новый метод обхода ограничений больших языковых моделей (БЯМ, LLM), на которых обычно строятся ИИ-боты. Тестирование на восьми популярных моделях показало результативность почти 65%.

Метод джейлбрейка ИИ-моделей, получивший имя Deceptive Delight, схож с другими атаками, которые полагаются на поэтапную инъекцию вредоносных подсказок-стимулов в ходе взаимодействия с LLM.

Однако в отличие от аналогов он позволяет получить искомый результат всего за два коммуникативных шага.

 

В ходе экспериментов был добавлен третий шаг: LLM попросили развить потенциально опасную тему. В итоге было получено качественное, подробное руководство по изготовлению «коктейля Молотова».

При разработке своего джейлбрейка эксперты сделали ставку на ограниченный объем внимания LLM — ее неспособность сохранять контекстную осведомленность при генерации ответов. Когда вводится сложный или длинный текст, в котором безобидный контент слит с вредоносным, модель может сконцентрироваться на первом и неправильно воспринять либо проигнорировать второй.

Для тестирования были выбраны 40 скользких тем, сгруппированных в шесть категорий: «ненависть», «харасмент», «самоистязание», «сексуального характера», «насилие» и «опасный».

Поскольку предметом исследования являлась проверка на прочность встроенной защиты, у восьми контрольных LLM отключили контент-фильтры, которые обычно отслеживают и блокируют стимулы и ответы с неприемлемым содержимым.

Тесты показали эффективность трехшаговой Deceptive Delight в среднем 64,6%. Самыми успешными оказались темы категории «насилие».

Новый Android-шпион ZeroDayRAT следит за экраном и продаётся в Telegram

Специалисты по безопасности мобильных устройств предупреждают о новом шпионском инструменте для Android под названием ZeroDayRAT. Вредоносный набор распространяется через Telegram и позволяет злоумышленникам получить практически полный контроль над заражённым устройством.

По данным исследовательской компании iVerify, ZeroDayRAT представляет собой комплект из вредоносного APK-файла и панели управления.

После установки приложения на смартфон атакующий получает доступ к обширной информации о владельце устройства — от модели телефона и версии ОС до номера телефона и данных сим-карты. Также можно узнать список установленных приложений и просматривать журнал входящих уведомлений.

 

Но на этом возможности не заканчиваются. Инструмент позволяет отслеживать геолокацию в реальном времени, читать СМС-сообщения (включая коды подтверждения), получать данные о зарегистрированных на устройстве аккаунтах, а также подключаться к камере и микрофону. Кроме того, злоумышленник может видеть экран жертвы в режиме онлайн.

Отдельную опасность представляет встроенный кейлоггер, поскольку с его помощью можно перехватывать вводимые данные, включая банковскую информацию. ZeroDayRAT также умеет подменять содержимое буфера обмена, что может использоваться, например, для перенаправления криптовалютных переводов на кошельки злоумышленников.

 

По оценке экспертов, подобный уровень функциональности раньше требовал серьёзных ресурсов и был характерен скорее для инструментов уровня государств. Теперь же доступ к нему можно получить через Telegram. Причём даже если каналы распространения будут заблокированы, уже скачанный комплект позволит злоумышленникам продолжать атаки.

ZeroDayRAT нацелен на устройства под управлением Android — от версии 5.0 Lollipop до Android 16. В отчёте также отмечается, что последние версии iOS потенциально тоже могут быть затронуты, хотя основной фокус сейчас — на Android.

Эксперты напоминают: для заражения требуется установка вредоносного APK-файла. Поэтому главный способ защиты остаётся прежним — не устанавливать приложения из непроверенных источников и не переходить по сомнительным ссылкам, особенно если они ведут за пределы официальных магазинов приложений.

RSS: Новости на портале Anti-Malware.ru