Легко взламываемые модели ИИ показывают, что меры защиты не работают

Легко взламываемые модели ИИ показывают, что меры защиты не работают

Легко взламываемые модели ИИ показывают, что меры защиты не работают

В новом отчете британского Института безопасности ИИ говорится, что основные модели искусственного интеллекта легко взламываются, а меры их защиты не работают.

Четыре общедоступные большие языковые модели (Large Language Models, LLM) чрезвычайно уязвимы для «джейлбрейка» — эксплуатации багов, позволяющей заставить модели ИИ выполнять то, что разработчики им делать запретили.

LLM тщательно настраиваются для безопасного публичного пользования. Их обучают избегать вредных реакци1 и токсичных результатов, используя меры предосторожности.

Однако исследователи обнаружили возможность обойти защиту с помощью простых атак.

В качестве наглядного образца можно привести инструкцию для пользователя, согласно которой система должна начинать свой ответ со слов, которые предполагают выполнение вредоносного запроса, например: «Конечно, я рад помочь».

Специалисты использовали подсказки в соответствии с отраслевым стандартом контрольного тестирования. В ходе исследования специалисты обнаружили, что некоторым моделям ИИ даже не требовался джейлбрейк, чтобы выдать нестандартный ответ. 

А вот когда использовался джейлбрейк, каждая модель отвечала как минимум один раз из пяти попыток. Три модели в 100% случаев давали ответы на вводящие в заблуждение запросы.

Анализ протестированных моделей показал, что они остаются уязвимы для базовых джейлбрейков, а некоторые LLM выдают вредные результаты без каких-либо попыток обойти защиту. Какие именно модели были исследованы, специалисты не сообщили.

В институте также оценили возможности моделей ИИ выполнять определенные задачи для проведения основных методов кибератак. Несколько LLM смогли решить задачи, которые исследователи назвали «хакерскими на уровне средней школы», но немногие смогли выполнить более сложные действия «университетского уровня».

Подпишитесь на новости

Более 300 выходных узлов Tor использовали для перехвата SSH-паролей

Злоумышленники превратили сотни выходных узлов Tor в инфраструктуру для перехвата SSH-соединений. Вместо нужного сервера пользователь мог попасть на сервер атакующих и отдать им пароль. Но был важный барьер: для успешной кражи требовалось принять подменённый ключ сервера.

Атаку описал исследователь под псевдонимом kaba. Проверив около 3000 выходных узлов, он обнаружил 333, перенаправлявших SSH-трафик через одни и те же 12 серверов перехвата. Это примерно каждый десятый узел по количеству.

Исследователь заметил неладное 2 октября: SSH-клиент предупредил, что ключ удалённого сервера изменился. То самое сообщение, которое хочется раздражённо закрыть, в этот раз указывало на реальную подмену.


Если пользователь принимал чужой ключ и вводил пароль, атакующие могли получить доступ к его серверу. В ходе дальнейшей проверки kaba также зафиксировал попытку установить Ebury — бэкдор для Linux, предназначенный в том числе для кражи учётных данных.

Команда Tor подтвердила компрометацию серверов операторов: злоумышленники меняли настройки, а некоторые промежуточные узлы превращали в выходные. Затронутые узлы начали исключать из сети. Первоначальный способ взлома серверов остаётся неясным.


Опасное окно пришлось на 1-5 октября. Число пострадавших неизвестно. Пользователям, которые в эти дни подключались по SSH через Tor, принимали незнакомый ключ и вводили пароль, стоит считать его скомпрометированным. Анонимный маршрут не отменяет проверку того, кому вы отдаёте доступ.

RSS: Новости на портале Anti-Malware.ru