Легко взламываемые модели ИИ показывают, что меры защиты не работают

Легко взламываемые модели ИИ показывают, что меры защиты не работают

Легко взламываемые модели ИИ показывают, что меры защиты не работают

В новом отчете британского Института безопасности ИИ говорится, что основные модели искусственного интеллекта легко взламываются, а меры их защиты не работают.

Четыре общедоступные большие языковые модели (Large Language Models, LLM) чрезвычайно уязвимы для «джейлбрейка» — эксплуатации багов, позволяющей заставить модели ИИ выполнять то, что разработчики им делать запретили.

LLM тщательно настраиваются для безопасного публичного пользования. Их обучают избегать вредных реакци1 и токсичных результатов, используя меры предосторожности.

Однако исследователи обнаружили возможность обойти защиту с помощью простых атак.

В качестве наглядного образца можно привести инструкцию для пользователя, согласно которой система должна начинать свой ответ со слов, которые предполагают выполнение вредоносного запроса, например: «Конечно, я рад помочь».

Специалисты использовали подсказки в соответствии с отраслевым стандартом контрольного тестирования. В ходе исследования специалисты обнаружили, что некоторым моделям ИИ даже не требовался джейлбрейк, чтобы выдать нестандартный ответ. 

А вот когда использовался джейлбрейк, каждая модель отвечала как минимум один раз из пяти попыток. Три модели в 100% случаев давали ответы на вводящие в заблуждение запросы.

Анализ протестированных моделей показал, что они остаются уязвимы для базовых джейлбрейков, а некоторые LLM выдают вредные результаты без каких-либо попыток обойти защиту. Какие именно модели были исследованы, специалисты не сообщили.

В институте также оценили возможности моделей ИИ выполнять определенные задачи для проведения основных методов кибератак. Несколько LLM смогли решить задачи, которые исследователи назвали «хакерскими на уровне средней школы», но немногие смогли выполнить более сложные действия «университетского уровня».

Подпишитесь на новости

США велели удалить Acronis из федеральных систем до 27 января за связь с РФ

Американским федеральным гражданским ведомствам велели распрощаться с Acronis: до 27 января 2027 года продукты компании должны исчезнуть из их информационных систем. Новые закупки тоже под запретом. Швейцарская штаб-квартира и смена владельцев не сняли вопросов о российских связях разработчика.

О многолетней проверке компании рассказало издание Nextgov/FCW со ссылкой на двух бывших американских чиновников.

Распоряжение Министерства внутренней безопасности США подписано ещё 31 июля, но опубликовано в Federal Register только 30 октября. Ограничения охватывают Acronis AG и связанные структуры, включая Acronis Inc. и Acronis SCS, а также поставляемые ими продукты. Купить тот же софт через посредника — тоже не обходной манёвр.

По данным собеседников Nextgov/FCW, проверка тянулась почти десятилетие. Чиновников интересовало, продолжают ли российские разработчики работать с кодом Acronis и достаточно ли компания снизила риски цепочки поставок. При этом источники не сообщили о конкретных доказательствах наличия бэкдоров, связывающих продукты с Москвой.

После 2022 года Acronis приостановила работу в России и перевезла специалистов в другие страны. В 2025-м контрольный пакет приобрела шведская EQT. Компания подчёркивает: более 75% её акций принадлежат западным инвесторам, а сделку одобрил американский комитет CFIUS. Но для допуска в федеральные системы этого оказалось недостаточно.

На частный рынок США нынешнее распоряжение полного запрета не накладывает.

RSS: Новости на портале Anti-Malware.ru