Deceptive Delight: джейлбрейк ИИ-моделей, использующий их благосклонность

Deceptive Delight: джейлбрейк ИИ-моделей, использующий их благосклонность

Deceptive Delight: джейлбрейк ИИ-моделей, использующий их благосклонность

В Palo Alto Networks разработали новый метод обхода ограничений больших языковых моделей (БЯМ, LLM), на которых обычно строятся ИИ-боты. Тестирование на восьми популярных моделях показало результативность почти 65%.

Метод джейлбрейка ИИ-моделей, получивший имя Deceptive Delight, схож с другими атаками, которые полагаются на поэтапную инъекцию вредоносных подсказок-стимулов в ходе взаимодействия с LLM.

Однако в отличие от аналогов он позволяет получить искомый результат всего за два коммуникативных шага.

 

В ходе экспериментов был добавлен третий шаг: LLM попросили развить потенциально опасную тему. В итоге было получено качественное, подробное руководство по изготовлению «коктейля Молотова».

При разработке своего джейлбрейка эксперты сделали ставку на ограниченный объем внимания LLM — ее неспособность сохранять контекстную осведомленность при генерации ответов. Когда вводится сложный или длинный текст, в котором безобидный контент слит с вредоносным, модель может сконцентрироваться на первом и неправильно воспринять либо проигнорировать второй.

Для тестирования были выбраны 40 скользких тем, сгруппированных в шесть категорий: «ненависть», «харасмент», «самоистязание», «сексуального характера», «насилие» и «опасный».

Поскольку предметом исследования являлась проверка на прочность встроенной защиты, у восьми контрольных LLM отключили контент-фильтры, которые обычно отслеживают и блокируют стимулы и ответы с неприемлемым содержимым.

Тесты показали эффективность трехшаговой Deceptive Delight в среднем 64,6%. Самыми успешными оказались темы категории «насилие».

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

PromptLock стал первым вымогателем с применением технологий ИИ

Исследователи из ESET рассказали о появлении необычного образца вредоноса — это первая известная программа-вымогатель, которая использует искусственный интеллект для локальных операций. Новый софт получил название PromptLock.

Он написан на Go и задействует открытую языковую модель GPT-OSS:20b — её можно запускать без ограничений со стороны вендора.

По сути, внутри зашиты промпты, которые позволяют вредоносу генерировать Lua-скрипты прямо на ходу. Эти скрипты умеют сканировать файловую систему, проверять содержимое, выгружать данные и даже шифровать их.

Для шифрования используется алгоритм SPECK (128 бит). Работает это как в Windows, так и в Linux — благодаря кросс-платформенным скриптам.

При этом ESET подчёркивает: перед нами пока только концепт, а не реальный боевой инструмент. Для атаки нужно, чтобы на машине жертвы был запущен Ollama API — локальный сервер для работы с моделью. А это серьёзное требование к ресурсам, которое в «обычной» инфраструктуре встречается редко.

Кроме того, у злоумышленников должно совпасть несколько условий: слабая сегментация сети, отсутствие защитных правил для промптов, открытый трафик к портам и протоколам LLM.

Пока что разрушительные функции в PromptLock не реализованы, и в реальных кибератаках его не видели. Но сам факт появления подобного кода говорит о новом этапе эволюции зловредов. ESET прямо пишет: важно не паниковать, а готовиться.

«Рост ИИ-вредоносов открывает новую главу в кибербезопасности. Мы делимся находкой, чтобы вызвать дискуссию и подтолкнуть отрасль к исследованиям и готовности», — заявили специалисты.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru