Легко взламываемые модели ИИ показывают, что меры защиты не работают

Легко взламываемые модели ИИ показывают, что меры защиты не работают

Легко взламываемые модели ИИ показывают, что меры защиты не работают

В новом отчете британского Института безопасности ИИ говорится, что основные модели искусственного интеллекта легко взламываются, а меры их защиты не работают.

Четыре общедоступные большие языковые модели (Large Language Models, LLM) чрезвычайно уязвимы для «джейлбрейка» — эксплуатации багов, позволяющей заставить модели ИИ выполнять то, что разработчики им делать запретили.

LLM тщательно настраиваются для безопасного публичного пользования. Их обучают избегать вредных реакци1 и токсичных результатов, используя меры предосторожности.

Однако исследователи обнаружили возможность обойти защиту с помощью простых атак.

В качестве наглядного образца можно привести инструкцию для пользователя, согласно которой система должна начинать свой ответ со слов, которые предполагают выполнение вредоносного запроса, например: «Конечно, я рад помочь».

Специалисты использовали подсказки в соответствии с отраслевым стандартом контрольного тестирования. В ходе исследования специалисты обнаружили, что некоторым моделям ИИ даже не требовался джейлбрейк, чтобы выдать нестандартный ответ. 

А вот когда использовался джейлбрейк, каждая модель отвечала как минимум один раз из пяти попыток. Три модели в 100% случаев давали ответы на вводящие в заблуждение запросы.

Анализ протестированных моделей показал, что они остаются уязвимы для базовых джейлбрейков, а некоторые LLM выдают вредные результаты без каких-либо попыток обойти защиту. Какие именно модели были исследованы, специалисты не сообщили.

В институте также оценили возможности моделей ИИ выполнять определенные задачи для проведения основных методов кибератак. Несколько LLM смогли решить задачи, которые исследователи назвали «хакерскими на уровне средней школы», но немногие смогли выполнить более сложные действия «университетского уровня».

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

30% страховщиков ограничивают лимиты по киберрискам до 100 млн руб.

Как показало исследование страхового брокера АСТ, действующие лимиты по страхованию киберрисков недостаточны для покрытия всех возможных убытков. Среди ключевых препятствий также называют высокую стоимость полисов — даже при использовании франшиз. По данным АСТ, 30% страховых компаний предлагают лимиты в диапазоне от 10 до 100 млн рублей, а 43% — от 100 до 500 млн рублей.

Результаты исследования привёл «Коммерсантъ». При этом 15% опрошенных организаций заявили, что хотели бы иметь покрытие на сумму свыше 500 млн рублей.

По словам совладельца страхового брокера Mains Сергея Худякова, существующие лимиты, предлагаемые российскими страховыми компаниями, подходят в основном компаниям малого и среднего бизнеса. Однако крупные предприятия — в частности, промышленные компании, крупные ретейлеры, телеком-операторы и банки с масштабной ИТ-инфраструктурой — нуждаются в более высоком уровне покрытия.

Среди тех, кто не смог подобрать подходящие условия страхования, оказалась даже подведомственная Банку России «Национальная страховая информационная система» (НСИС). Как отметил её руководитель Николай Галушин в комментарии для «Коммерсанта», ситуация с предложениями для структур такого масштаба за последний год не изменилась в лучшую сторону.

По мнению экспертов, одним из возможных решений может стать перестрахование — распределение рисков между несколькими страховыми компаниями. Этот вариант уже обсуждается с Российской национальной перестраховочной компанией. Однако, как уточнил исполнительный директор СОГАЗа Анар Бахшалиев, такой подход требует от клиентов предоставления более подробной информации об ИТ-инфраструктуре и уровне её защиты, что увеличивает сроки заключения договоров.

Исследование АСТ также показало, что уровень киберзащищённости компании является главным фактором, влияющим на стоимость полиса. По оценке Сергея Худякова, она составляет от 1 до 3% от суммы покрытия. Встречаются и случаи, когда договоры заключаются бесплатно — как дополнение к пакету услуг, однако при этом размер покрытия минимален.

Ещё одной проблемой, по мнению авторов исследования, является самоуверенность компаний. Более половины участников опроса заявили, что не сталкивались с киберинцидентами, а 20% признались, что не знают, были ли они вообще. Однако, как отметил директор департамента «Страхование» компании «Рексофт» Никита Евсеенко, подобная уверенность часто основана не на реальной защищённости, а на культуре замалчивания инцидентов.

Тем не менее 90% компаний готовы оформить полис, если страхование киберрисков станет обязательным. Соответствующие инициативы обсуждаются с 2023 года.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru