Легко взламываемые модели ИИ показывают, что меры защиты не работают

Вероника Дубровская 21 Мая 2024 - 20:31

...

Легко взламываемые модели ИИ показывают, что меры защиты не работают

В новом отчете британского Института безопасности ИИ говорится, что основные модели искусственного интеллекта легко взламываются, а меры их защиты не работают.

Четыре общедоступные большие языковые модели (Large Language Models, LLM) чрезвычайно уязвимы для «джейлбрейка» — эксплуатации багов, позволяющей заставить модели ИИ выполнять то, что разработчики им делать запретили.

LLM тщательно настраиваются для безопасного публичного пользования. Их обучают избегать вредных реакци1 и токсичных результатов, используя меры предосторожности.

Однако исследователи обнаружили возможность обойти защиту с помощью простых атак.

В качестве наглядного образца можно привести инструкцию для пользователя, согласно которой система должна начинать свой ответ со слов, которые предполагают выполнение вредоносного запроса, например: «Конечно, я рад помочь».

Специалисты использовали подсказки в соответствии с отраслевым стандартом контрольного тестирования. В ходе исследования специалисты обнаружили, что некоторым моделям ИИ даже не требовался джейлбрейк, чтобы выдать нестандартный ответ.

А вот когда использовался джейлбрейк, каждая модель отвечала как минимум один раз из пяти попыток. Три модели в 100% случаев давали ответы на вводящие в заблуждение запросы.

Анализ протестированных моделей показал, что они остаются уязвимы для базовых джейлбрейков, а некоторые LLM выдают вредные результаты без каких-либо попыток обойти защиту. Какие именно модели были исследованы, специалисты не сообщили.

В институте также оценили возможности моделей ИИ выполнять определенные задачи для проведения основных методов кибератак. Несколько LLM смогли решить задачи, которые исследователи назвали «хакерскими на уровне средней школы», но немногие смогли выполнить более сложные действия «университетского уровня».

Следующая главная новость »

Защита мобильных приложений: где бизнес теряет данные?
Регистрируйтесь на эфир!

Яков Шпунт 19 Мая 2026 - 12:51

Соответствие законодательству РФ Корпорации Государство Соответствие требованиям регуляторов

Правительство будет стимулировать спрос промышленности на российское ПО

В ходе выступления на конференции «ЦИПР-2026» глава правительства Михаил Мишустин заявил, что работа по стимулированию спроса на российское ПО будет продолжена. Основная цель, по его словам, заключается в переходе от оперативного импортозамещения к системной работе по созданию отечественных экосистем, в том числе сложных.

Выступление премьера, как сообщает «Коммерсантъ», было посвящено итогам четырёхлетней работы по переходу российской экономики на отечественное ПО.

По словам Михаила Мишустина, в этой области уже есть заметные результаты: «сотни уже внедрённых промышленных систем, которые управляют цехами, логистикой, идут в серию».

Российское ПО, отметил премьер, уже способно обеспечивать работу ключевых управленческих и производственных процессов в стратегически важных отраслях. Среди них он назвал электроэнергетику, недропользование, добычу нефти и газа, а также нефтехимию. При этом остаются и отстающие направления, в частности автомобилестроение.

Важную роль в этой работе играют индустриальные центры компетенций (ИЦК). Если на момент их запуска в 2022 году насчитывалось около 5 тыс. процессов, для которых не было российского ПО, то сейчас это число сократилось в четыре раза.

Однако многие компании продолжают использовать зарубежное ПО. Часто оно не требует срочной замены, поэтому у бизнеса нет достаточных стимулов переходить на российские решения. По словам премьера, такая ситуация создаёт «огромные технологические риски».

В числе ключевых задач Михаил Мишустин назвал стимулирование спроса на отечественное ПО. Среди возможных мер он упомянул двойной коэффициент при учёте расходов на российское ПО, ускоренную амортизацию отечественных программ и программно-аппаратных комплексов, а также освобождение от НДС сделок по продаже прав на российский софт. От НДС планируется освободить и облачные сервисы. Развитию облачных сервисов премьер также уделил отдельное внимание.

Кроме того, премьер поручил ИЦК до конца года проработать и представить в правительство варианты необходимых и перспективных ИИ-сервисов для каждой отрасли. При этом наборы промышленных данных, отраслевые модели данных и стандарты обмена должны быть отечественными.

Защита мобильных приложений: где бизнес теряет данные?
Регистрируйтесь на эфир!