Легко взламываемые модели ИИ показывают, что меры защиты не работают

Легко взламываемые модели ИИ показывают, что меры защиты не работают

Легко взламываемые модели ИИ показывают, что меры защиты не работают

В новом отчете британского Института безопасности ИИ говорится, что основные модели искусственного интеллекта легко взламываются, а меры их защиты не работают.

Четыре общедоступные большие языковые модели (Large Language Models, LLM) чрезвычайно уязвимы для «джейлбрейка» — эксплуатации багов, позволяющей заставить модели ИИ выполнять то, что разработчики им делать запретили.

LLM тщательно настраиваются для безопасного публичного пользования. Их обучают избегать вредных реакци1 и токсичных результатов, используя меры предосторожности.

Однако исследователи обнаружили возможность обойти защиту с помощью простых атак.

В качестве наглядного образца можно привести инструкцию для пользователя, согласно которой система должна начинать свой ответ со слов, которые предполагают выполнение вредоносного запроса, например: «Конечно, я рад помочь».

Специалисты использовали подсказки в соответствии с отраслевым стандартом контрольного тестирования. В ходе исследования специалисты обнаружили, что некоторым моделям ИИ даже не требовался джейлбрейк, чтобы выдать нестандартный ответ. 

А вот когда использовался джейлбрейк, каждая модель отвечала как минимум один раз из пяти попыток. Три модели в 100% случаев давали ответы на вводящие в заблуждение запросы.

Анализ протестированных моделей показал, что они остаются уязвимы для базовых джейлбрейков, а некоторые LLM выдают вредные результаты без каких-либо попыток обойти защиту. Какие именно модели были исследованы, специалисты не сообщили.

В институте также оценили возможности моделей ИИ выполнять определенные задачи для проведения основных методов кибератак. Несколько LLM смогли решить задачи, которые исследователи назвали «хакерскими на уровне средней школы», но немногие смогли выполнить более сложные действия «университетского уровня».

Mozilla засветила ключ подписи Firefox и Thunderbird в GitHub

Mozilla заменила GPG-ключ, которым подписывала некоторые сборки Firefox и Thunderbird. Причина в этот раз серьёзная: незашифрованную копию секретного ключа случайно загрузили в закрытый репозиторий GitHub. Ключ использовался для подписи Linux-архивов, RPM-пакетов и файлов контрольных сумм.

Теоретически его обладатель мог бы подписать поддельные установщики, выдав их за официальные релизы Mozilla. Однако компания оценивает риск атаки на цепочку поставок как низкий.

Репозиторий был доступен лишь небольшой группе сотрудников Mozilla, которые и без того имели законный доступ к ключу. Проверка журналов аудита не выявила признаков того, что секретом воспользовался кто-то посторонний. Поэтому старый ключ отозвали и выпустили новый.

Большинству пользователей ничего делать не придётся. Тем, кто самостоятельно проверяет GPG-подписи загруженных файлов, необходимо импортировать новый ключ и данные об отзыве прежнего.

Чуть больше хлопот может достаться владельцам Linux-систем, устанавливающим Firefox из RPM-пакетов. В зависимости от дистрибутива им придётся вручную обновить ключ, иначе свежие версии браузера могут перестать устанавливаться.

Mozilla опубликовала отдельные инструкции для Fedora, RHEL, Rocky Linux, AlmaLinux, openSUSE и SUSE. Пользователей Thunderbird эта часть не касается: официальных RPM-пакетов почтовый клиент не выпускает.

Новый подключ действует до 5 августа 2028 года. Публичный ключ и сведения об отзыве старого доступны в актуальных файлах KEY для Firefox Nightly и на сервере keys.openpgp.org.

Mozilla также пообещала принять меры, чтобы секретные ключи больше не отправлялись гулять по репозиториям.

RSS: Новости на портале Anti-Malware.ru