Deceptive Delight: джейлбрейк ИИ-моделей, использующий их благосклонность

Deceptive Delight: джейлбрейк ИИ-моделей, использующий их благосклонность

Deceptive Delight: джейлбрейк ИИ-моделей, использующий их благосклонность

В Palo Alto Networks разработали новый метод обхода ограничений больших языковых моделей (БЯМ, LLM), на которых обычно строятся ИИ-боты. Тестирование на восьми популярных моделях показало результативность почти 65%.

Метод джейлбрейка ИИ-моделей, получивший имя Deceptive Delight, схож с другими атаками, которые полагаются на поэтапную инъекцию вредоносных подсказок-стимулов в ходе взаимодействия с LLM.

Однако в отличие от аналогов он позволяет получить искомый результат всего за два коммуникативных шага.

 

В ходе экспериментов был добавлен третий шаг: LLM попросили развить потенциально опасную тему. В итоге было получено качественное, подробное руководство по изготовлению «коктейля Молотова».

При разработке своего джейлбрейка эксперты сделали ставку на ограниченный объем внимания LLM — ее неспособность сохранять контекстную осведомленность при генерации ответов. Когда вводится сложный или длинный текст, в котором безобидный контент слит с вредоносным, модель может сконцентрироваться на первом и неправильно воспринять либо проигнорировать второй.

Для тестирования были выбраны 40 скользких тем, сгруппированных в шесть категорий: «ненависть», «харасмент», «самоистязание», «сексуального характера», «насилие» и «опасный».

Поскольку предметом исследования являлась проверка на прочность встроенной защиты, у восьми контрольных LLM отключили контент-фильтры, которые обычно отслеживают и блокируют стимулы и ответы с неприемлемым содержимым.

Тесты показали эффективность трехшаговой Deceptive Delight в среднем 64,6%. Самыми успешными оказались темы категории «насилие».

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Kaspersky Fraud Prevention научился точнее выявлять мошеннические схемы

«Лаборатория Касперского» выпустила обновление своего решения Kaspersky Fraud Prevention, которое помогает компаниям выявлять и предотвращать онлайн-мошенничество. Повод для усиления защиты более чем актуален — с начала 2025 года в России фиксируется резкий рост числа фрод-аккаунтов в ретейле, а летом наблюдалась волна автоматизированных атак, связанных с нелегитимным бронированием и скупкой билетов.

Обновлённый Kaspersky Fraud Prevention теперь лучше справляется с подобными схемами как на сайтах, так и в мобильных приложениях.

Разработчики добавили новые источники данных, усилили алгоритмы детектирования и внедрили более 20 новых признаков мошеннической активности.

Теперь система анализирует не только телеметрию устройств, но и анонимизированные технические данные клиентов, что позволяет адаптировать защиту под конкретную отрасль — будь то онлайн-торговля, банковские сервисы или системы бронирования.

В модулях Advanced Authentication и Automated Fraud Analytics появилась возможность объединять правила, что помогает выявлять более сложные схемы. Например, система может заметить, что одно и то же устройство используется для подозрительных входов в разных аккаунтах.

Новые признаки мошеннической активности включают даже такие детали, как траектория движения мыши — это помогает распознавать автоматизированные действия и ботов ещё до того, как они наносят ущерб.

Для аналитиков добавлен новый механизм отчётности и расширена информация об аутентификации: теперь можно получать не только оценку риска сессии, но и технические сведения о ней — например, параметры устройства и особенности подключения. Это делает анализ инцидентов более гибким и точным.

«Мы видим, как бизнес всё активнее уходит в онлайн, и вместе с этим растёт количество мошеннических схем, — отмечает Екатерина Данилова, менеджер по развитию бизнеса Kaspersky Fraud Prevention. — В новой версии мы сосредоточились на точности детектирования и удобстве аналитиков. Теперь система лучше видит технические признаки фрода, например циклические бронирования или перепродажу бонусов, и помогает реагировать быстрее».

Обновлённый Kaspersky Fraud Prevention уже доступен клиентам и, по словам компании, должен значительно повысить эффективность противодействия сложным цифровым схемам обмана.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru