Легко взламываемые модели ИИ показывают, что меры защиты не работают

Вероника Дубровская 21 Мая 2024 - 20:31

...

Легко взламываемые модели ИИ показывают, что меры защиты не работают

В новом отчете британского Института безопасности ИИ говорится, что основные модели искусственного интеллекта легко взламываются, а меры их защиты не работают.

Четыре общедоступные большие языковые модели (Large Language Models, LLM) чрезвычайно уязвимы для «джейлбрейка» — эксплуатации багов, позволяющей заставить модели ИИ выполнять то, что разработчики им делать запретили.

LLM тщательно настраиваются для безопасного публичного пользования. Их обучают избегать вредных реакци1 и токсичных результатов, используя меры предосторожности.

Однако исследователи обнаружили возможность обойти защиту с помощью простых атак.

В качестве наглядного образца можно привести инструкцию для пользователя, согласно которой система должна начинать свой ответ со слов, которые предполагают выполнение вредоносного запроса, например: «Конечно, я рад помочь».

Специалисты использовали подсказки в соответствии с отраслевым стандартом контрольного тестирования. В ходе исследования специалисты обнаружили, что некоторым моделям ИИ даже не требовался джейлбрейк, чтобы выдать нестандартный ответ.

А вот когда использовался джейлбрейк, каждая модель отвечала как минимум один раз из пяти попыток. Три модели в 100% случаев давали ответы на вводящие в заблуждение запросы.

Анализ протестированных моделей показал, что они остаются уязвимы для базовых джейлбрейков, а некоторые LLM выдают вредные результаты без каких-либо попыток обойти защиту. Какие именно модели были исследованы, специалисты не сообщили.

В институте также оценили возможности моделей ИИ выполнять определенные задачи для проведения основных методов кибератак. Несколько LLM смогли решить задачи, которые исследователи назвали «хакерскими на уровне средней школы», но немногие смогли выполнить более сложные действия «университетского уровня».

Следующая главная новость »

ИИ в руках хакеров: как меняются кибератаки в 2026?
Регистрируйтесь на эфир!

Екатерина Быстрова 02 Июля 2026 - 14:08

Соответствие законодательству РФ Корпорации Соответствие требованиям регуляторов Selectel

Selectel первым получил аттестат ФСТЭК по новым требованиям приказа №117

Selectel сообщил о получении аттестата соответствия обновленным требованиям приказа ФСТЭК России №117. В компании заявляют, что стали первым облачным провайдером, публично подтвердившим соответствие новым правилам для информационных систем первого класса защищенности — К1.

Приказ №117 вступил в силу в марте 2026 года и заменил прежний приказ №17. Главное изменение — требования теперь касаются не только государственных информационных систем, но и других систем госсектора.

Кроме того, под действие правил могут попадать коммерческие компании, если они работают с защищаемыми системами, государственными заказчиками или участвуют в госконтрактах.

Для бизнеса это означает простую вещь: если компания работает с чувствительными данными или проектами для государства, требования к инфраструктуре становятся жестче. И закрывать их придется не «когда-нибудь потом», а уже в рамках новых правил.

Аттестат Selectel подтверждает, что облачную платформу провайдера можно использовать для размещения систем, подпадающих под требования приказа №117. Клиенты также смогут использовать такую инфраструктуру при прохождении собственной аттестации. Средства защиты информации при этом предоставляются по подписочной модели, без отдельной закупки и внедрения.

Аналогичная возможность аттестации доступна и для выделенных серверов Selectel в рамках аттестованных сегментов ЦОД.

По данным компании, спрос на защищенную инфраструктуру растет. Выручка от аттестованной облачной инфраструктуры по итогам 2025 года увеличилась почти втрое год к году. Быстрее всего потребление облаков росло у клиентов из финансового сектора — в 2,1 раза, в ритейле — в 1,5 раза, в медиа — в 1,4 раза.

В Selectel связывают этот рост с усилением регуляторной нагрузки, дефицитом экспертизы по аттестации и переходом регулируемых отраслей в облака.

Отдельно компания отмечает, что защищенная инфраструктура становится важной не только для выполнения требований ФСТЭК, но и для проектов с искусственным интеллектом, где вопросы безопасности и контроля данных всё чаще выходят на первый план.

ИИ в руках хакеров: как меняются кибератаки в 2026?
Регистрируйтесь на эфир!