Легко взламываемые модели ИИ показывают, что меры защиты не работают

Легко взламываемые модели ИИ показывают, что меры защиты не работают

Легко взламываемые модели ИИ показывают, что меры защиты не работают

В новом отчете британского Института безопасности ИИ говорится, что основные модели искусственного интеллекта легко взламываются, а меры их защиты не работают.

Четыре общедоступные большие языковые модели (Large Language Models, LLM) чрезвычайно уязвимы для «джейлбрейка» — эксплуатации багов, позволяющей заставить модели ИИ выполнять то, что разработчики им делать запретили.

LLM тщательно настраиваются для безопасного публичного пользования. Их обучают избегать вредных реакци1 и токсичных результатов, используя меры предосторожности.

Однако исследователи обнаружили возможность обойти защиту с помощью простых атак.

В качестве наглядного образца можно привести инструкцию для пользователя, согласно которой система должна начинать свой ответ со слов, которые предполагают выполнение вредоносного запроса, например: «Конечно, я рад помочь».

Специалисты использовали подсказки в соответствии с отраслевым стандартом контрольного тестирования. В ходе исследования специалисты обнаружили, что некоторым моделям ИИ даже не требовался джейлбрейк, чтобы выдать нестандартный ответ. 

А вот когда использовался джейлбрейк, каждая модель отвечала как минимум один раз из пяти попыток. Три модели в 100% случаев давали ответы на вводящие в заблуждение запросы.

Анализ протестированных моделей показал, что они остаются уязвимы для базовых джейлбрейков, а некоторые LLM выдают вредные результаты без каких-либо попыток обойти защиту. Какие именно модели были исследованы, специалисты не сообщили.

В институте также оценили возможности моделей ИИ выполнять определенные задачи для проведения основных методов кибератак. Несколько LLM смогли решить задачи, которые исследователи назвали «хакерскими на уровне средней школы», но немногие смогли выполнить более сложные действия «университетского уровня».

Мошенникам хватает ФИО, даты рождения и телефона, чтобы заблокировать счёт

Для новой неприятной схемы злоумышленникам не нужны вредоносные программы, фишинговые сайты и взлом банковского приложения. Иногда хватает телефона, уверенного голоса и базовых персональных данных, отмечают специалисты.

Как рассказал «Газете.Ru» основатель компании «Интернет-Розыск» Игорь Бедеров, мошенники могут дистанционно заблокировать банковский счет жертвы, если знают ее ФИО, дату рождения и номер телефона, привязанный к счету.

Сценарий в этом случае простой: злоумышленник звонит на горячую линию банка, представляется клиентом и сообщает, что потерял телефон или банковскую карту. Если оператор или автоматизированная система считают названные данные достаточными для идентификации, счет могут оперативно заблокировать.

И вот тут начинается самое неудобное: отменить такую блокировку дистанционно обычно нельзя. Настоящему владельцу счета приходится идти в отделение банка с паспортом и проходить физическую идентификацию. То есть мошенник потратил пару минут, а жертва — время, нервы и доступ к собственным деньгам.

По словам Бедерова, эта схема опасна тем, что использует не техническую уязвимость, а особенности банковских бизнес-процессов. При этом нужные данные часто уже есть в открытом доступе или в утечках. Дата рождения в соцсетях, номер телефона в объявлениях, ФИО в разных сервисах, и вот пазл почти собран.

Эксперт советует завести отдельный номер телефона для банковских сервисов и двухфакторной аутентификации. Такой номер не стоит публиковать в соцсетях, мессенджерах, объявлениях и других открытых источниках.

Также лучше убрать дату рождения из публичных профилей. Это не просто милая информация для поздравлений, а один из параметров, который могут использовать для давления на банк.

Если счет уже заблокировали по чужому звонку, пользователь может обратиться в банк с заявлением, потребовать расследование инцидента, запись разговора и номер телефона, с которого якобы звонил «клиент».

RSS: Новости на портале Anti-Malware.ru