Легко взламываемые модели ИИ показывают, что меры защиты не работают

Легко взламываемые модели ИИ показывают, что меры защиты не работают

Легко взламываемые модели ИИ показывают, что меры защиты не работают

В новом отчете британского Института безопасности ИИ говорится, что основные модели искусственного интеллекта легко взламываются, а меры их защиты не работают.

Четыре общедоступные большие языковые модели (Large Language Models, LLM) чрезвычайно уязвимы для «джейлбрейка» — эксплуатации багов, позволяющей заставить модели ИИ выполнять то, что разработчики им делать запретили.

LLM тщательно настраиваются для безопасного публичного пользования. Их обучают избегать вредных реакци1 и токсичных результатов, используя меры предосторожности.

Однако исследователи обнаружили возможность обойти защиту с помощью простых атак.

В качестве наглядного образца можно привести инструкцию для пользователя, согласно которой система должна начинать свой ответ со слов, которые предполагают выполнение вредоносного запроса, например: «Конечно, я рад помочь».

Специалисты использовали подсказки в соответствии с отраслевым стандартом контрольного тестирования. В ходе исследования специалисты обнаружили, что некоторым моделям ИИ даже не требовался джейлбрейк, чтобы выдать нестандартный ответ. 

А вот когда использовался джейлбрейк, каждая модель отвечала как минимум один раз из пяти попыток. Три модели в 100% случаев давали ответы на вводящие в заблуждение запросы.

Анализ протестированных моделей показал, что они остаются уязвимы для базовых джейлбрейков, а некоторые LLM выдают вредные результаты без каких-либо попыток обойти защиту. Какие именно модели были исследованы, специалисты не сообщили.

В институте также оценили возможности моделей ИИ выполнять определенные задачи для проведения основных методов кибератак. Несколько LLM смогли решить задачи, которые исследователи назвали «хакерскими на уровне средней школы», но немногие смогли выполнить более сложные действия «университетского уровня».

ИИ научился клепать клоны Android-приложений почти за копейки

Нейросети могут за несколько минут изменить Android-приложение, пересобрать его и сохранить работоспособность. Причём цена такой операции начинается с 88 копеек, выяснили специалисты Positive Technologies. Эксперимент провели на 90 приложениях разных категорий.

Вредоносный код исследователи не добавляли: они вносили нейтральное изменение и проверяли, продолжит ли программа работать после вмешательства.

Результат получился неприятный. Закрытые коммерческие модели успешно справились с задачей в 84% попыток, модели с открытыми весами — в 61%. В среднем нейросети требовалось 14 итераций и от пяти с половиной до девяти минут.

 

Стоимость одного успешного результата составила от 0,88 до 40,89 рубля. То есть за несколько тысяч рублей потенциальный злоумышленник может попробовать модифицировать сотню популярных приложений.

На практике вместо безобидной правки в APK можно встроить перехват данных, изменить поведение программы или добавить связь с внешним сервером. Затем поддельную сборку легко выдать за оригинал, улучшенную версию или приложение, которое якобы недоступно в официальном магазине.

 

Распространять такие клоны могут через сторонние каталоги, сайты, мессенджеры и тематические сообщества. Особенно уязвимы пользователи, которые привыкли скачивать APK где придётся.

В Positive Technologies отмечают, что ИИ не изобрёл новый вид атаки, но заметно снизил порог входа. То, что раньше требовало времени и навыков реверс-инжиниринга, теперь можно частично поручить нейросети.

Разработчикам советуют защищать код от анализа и изменения, отслеживать появление неофициальных сборок и закладывать безопасность ещё на этапе разработки. Иначе клон приложения может появиться быстрее, чем команда успеет выпустить очередной патч.

RSS: Новости на портале Anti-Malware.ru