Легко взламываемые модели ИИ показывают, что меры защиты не работают

Легко взламываемые модели ИИ показывают, что меры защиты не работают

Легко взламываемые модели ИИ показывают, что меры защиты не работают

В новом отчете британского Института безопасности ИИ говорится, что основные модели искусственного интеллекта легко взламываются, а меры их защиты не работают.

Четыре общедоступные большие языковые модели (Large Language Models, LLM) чрезвычайно уязвимы для «джейлбрейка» — эксплуатации багов, позволяющей заставить модели ИИ выполнять то, что разработчики им делать запретили.

LLM тщательно настраиваются для безопасного публичного пользования. Их обучают избегать вредных реакци1 и токсичных результатов, используя меры предосторожности.

Однако исследователи обнаружили возможность обойти защиту с помощью простых атак.

В качестве наглядного образца можно привести инструкцию для пользователя, согласно которой система должна начинать свой ответ со слов, которые предполагают выполнение вредоносного запроса, например: «Конечно, я рад помочь».

Специалисты использовали подсказки в соответствии с отраслевым стандартом контрольного тестирования. В ходе исследования специалисты обнаружили, что некоторым моделям ИИ даже не требовался джейлбрейк, чтобы выдать нестандартный ответ. 

А вот когда использовался джейлбрейк, каждая модель отвечала как минимум один раз из пяти попыток. Три модели в 100% случаев давали ответы на вводящие в заблуждение запросы.

Анализ протестированных моделей показал, что они остаются уязвимы для базовых джейлбрейков, а некоторые LLM выдают вредные результаты без каких-либо попыток обойти защиту. Какие именно модели были исследованы, специалисты не сообщили.

В институте также оценили возможности моделей ИИ выполнять определенные задачи для проведения основных методов кибератак. Несколько LLM смогли решить задачи, которые исследователи назвали «хакерскими на уровне средней школы», но немногие смогли выполнить более сложные действия «университетского уровня».

Подпишитесь на новости

Только 11% компаний полностью готовы к новым требованиям по защите КИИ

Только 11% компаний полностью готовы к новым требованиям по защите КИИ — такие результаты показал опрос зрителей эфира AM Live. В эфире AM Live «Безопасность КИИ» эксперты обсудили защиту критической информационной инфраструктуры.

Участники разобрали переход от процессного подхода к типовым отраслевым объектам, новые требования с 1 марта 2027 года — расчёт показателей защищённости раз в полгода и уровня зрелости раз в три года, — а также практические проблемы: совместимость при импортозамещении, контроль подрядчиков, удалённый доступ и готовность к инцидентам. 

Опрос зрителей показал, что только 11% организаций уже выполнили все требования, которые нужно учесть перед 1 марта. Ещё 34% пока разбираются, что именно менять, а 12% заявили, что не являются субъектами КИИ. Алексей Орехов посоветовал не откладывать подготовку:

«Не стоит планировать, что вы 28 февраля досчитаете, а 1 марта у вас будут результаты. Начните заранее — это делается в первую очередь для себя».

Юрий Подгорбунский добавил, что показатель защищённости (КЗИ) на 90% коррелирует с мерами 239-го приказа: «Если система построена правильно, единицу получить несложно». Сергей Сайганов напомнил: если свидетельства по запросу регулятора не предоставлены в течение 30 дней, показатель обнуляется.

Среди главных препятствий для реальной защищённости 53% зрителей назвали проблемы совместимости при замене ПО и оборудования. Константин Закатов пояснил:

«Приобретать стоит то оборудование, которое заранее имеет сертификаты совместимости или заявленную совместимость с тем, что используется на объекте».

Александр Суховей отметил, что даже публичные заявления вендоров о совместимости не гарантируют результата:

«Привозим на стенд, ставим — не работает. Нужно пилотировать конкретные железки и софт, а не сферического коня в вакууме».

Также среди помех называли нехватку бюджета и специалистов.

Отдельный вопрос касался того, как компании проверяют работоспособность защиты. 50% проводили технические проверки защищённости, 36% — аудит, а вот учения по реагированию — только 9%. Лев Палей назвал эту цифру больным местом. Денис Поладьев согласился:

«Отработка реагирования должна быть штатной ситуацией. Для этого она должна быть частью домашних процессов, а не отдельным мероприятием безопасника».

Алексей Панюхин добавил, что перед проверками важно проверять версии средств защиты, сроки сертификатов, логи и действия пользователей.

В ходе дискуссии спикеры также отметили, что при построении защиты важно выходить за рамки значимых объектов.

«Смотреть на ИБ не только в разрезе значимых объектов, а на всю инфраструктуру — границы размываются», — сказал Алексей Орехов.

Александр Суховей призвал начинать с полной инвентаризации:

«Сначала нужно снять туман войны и понять, что вы вообще категорируете».

Денис Поладьев рекомендовал строить сквозные процессы ИБ вместе с ИТ и заказывать комплексный пентест, а Алексей Панюхин — максимально использовать встроенные механизмы защиты и при внедрении систем сразу учитывать требования ИБ.

Участники эфира сошлись во мнении, что подготовку к новым требованиям нельзя откладывать на последний момент, а реальная защищённость КИИ зависит не только от документов, но и от практических проверок, киберучений, совместимости решений и плотного взаимодействия ИБ с ИТ и бизнесом.

RSS: Новости на портале Anti-Malware.ru