Опасные стихи раскрыли уязвимости ИИ: до 60% успешных обходов

Опасные стихи раскрыли уязвимости ИИ: до 60% успешных обходов

Опасные стихи раскрыли уязвимости ИИ: до 60% успешных обходов

Исследователи из DEXAI нашли нестандартный, но весьма результативный способ обхода защит современных языковых моделей: оказалось, что многие ИИ куда менее устойчивы к опасным запросам, если скрыть их в стихотворении. Команда протестировала 25 популярных нейросетей и выяснила, что «поэтические» запросы обходят защиту примерно в 60% случаев.

У отдельных моделей уровень уязвимости подбирался почти к 100%. Для эксперимента специалисты подготовили около двадцати опасных стихов — тексты, в которых вредоносный смысл сохранялся полностью, но был завуалирован рифмой и метафорами.

 

Темы брались самые жёсткие: от создания опасных веществ до методов манипуляции сознанием. Чтобы добиться нужного эффекта, исследователи сначала формулировали вредоносные запросы, а затем превращали их в стихи при помощи другой ИИ-модели.

Контраст получился впечатляющим. На прямые запросы модели давали опасные ответы лишь в 8% случаев, тогда как стихотворная форма увеличивала вероятность прорыва защит до 43% и выше.

 

Разницу в подходах к безопасности между западными и российскими ИИ-комплексами пояснил директор по ИИ «Группы Астра» Станислав Ежов. По его словам, западные LLM часто можно обойти «простыми метафорами», тогда как отечественные системы строятся по более строгой архитектуре — с контролем безопасности на каждом этапе.

Он отметил, что в компании внедряют доверенный ИИ-комплекс «Тессеракт», разработанный с защитой ключевых компонентов на уровне ФСТЭК.

Ежов подчёркивает:

«Проблема уязвимости ИИ — это не просто интересный технический нюанс, а вопрос стратегической безопасности. Поэтому внимание к качеству защитных механизмов сегодня становится критически важным».

Утечка данных клиентов приложений для слежки затронула 500 тыс. записей

Хактивисту удалось получить доступ к базе данных одного из поставщиков так называемых stalkerware — приложений для скрытой слежки за владельцами смартфонов. В результате в Сеть утекли более 500 тысяч платёжных записей, связанных с клиентами, которые платили за слежку за другими людьми.

Речь идёт о данных пользователей сервисов Geofinder, uMobix, Peekviewer (бывший Glassagram) и ряда других приложений для мониторинга и трекинга.

Все они предоставляются одним и тем же вендором — компанией Struktura, зарегистрированной на территории Украины. В утёкшей базе также оказались платёжные записи сервиса Xnspy, уже известного по крупным утечкам в прошлые годы.

Как выяснили в TechCrunch, в базе содержится около 536 тысяч строк с данными клиентов. Среди них — адреса электронной почты, название сервиса, за который платил пользователь, сумма платежа, тип банковской карты (Visa или Mastercard) и последние четыре цифры карты. Дат платежей в наборе данных не было.

Хотя полных платёжных реквизитов в утечке нет, даже такой объём информации может быть опасен, особенно с учётом того, чем именно занимались клиенты этих сервисов.

Журналисты TechCrunch проверили утечку несколькими способами. В частности, они использовали одноразовые почтовые ящики с публичным доступом, которые встречались в базе, и через функции восстановления пароля подтвердили, что такие аккаунты действительно существуют.

Дополнительно проверялись уникальные номера счетов, которые совпали с данными, доступными на страницах оплаты сервисов — причём без необходимости проходить аутентификацию. Это указывает на серьёзные проблемы с безопасностью у поставщика.

Хактивист под ником wikkid рассказал, что получил доступ к данным из-за «банальной ошибки» на сайте вендора. По его словам, он целенаправленно атакует приложения, которые используются для слежки за людьми, и позже опубликовал выгруженные данные на одном из хакерских форумов.

Приложения вроде uMobix и Xnspy после установки на телефон жертвы передают третьим лицам практически всё содержимое устройства: сообщения, звонки, фотографии, историю браузера и точные данные о местоположении.

При этом такие сервисы открыто рекламировались как инструменты для слежки за супругами и партнёрами, что во многих странах прямо нарушает закон.

Это далеко не первый случай, когда разработчики stalkerware теряют контроль над данными, как клиентов, так и самих жертв слежки. За последние годы десятки подобных сервисов становились жертвами взломов или утечек из-за элементарных ошибок в защите.

Ирония ситуации в том, что компании, зарабатывающие на вторжении в чужую приватность, раз за разом не способны защитить даже собственных клиентов.

RSS: Новости на портале Anti-Malware.ru