Легко взламываемые модели ИИ показывают, что меры защиты не работают

Легко взламываемые модели ИИ показывают, что меры защиты не работают

Легко взламываемые модели ИИ показывают, что меры защиты не работают

В новом отчете британского Института безопасности ИИ говорится, что основные модели искусственного интеллекта легко взламываются, а меры их защиты не работают.

Четыре общедоступные большие языковые модели (Large Language Models, LLM) чрезвычайно уязвимы для «джейлбрейка» — эксплуатации багов, позволяющей заставить модели ИИ выполнять то, что разработчики им делать запретили.

LLM тщательно настраиваются для безопасного публичного пользования. Их обучают избегать вредных реакци1 и токсичных результатов, используя меры предосторожности.

Однако исследователи обнаружили возможность обойти защиту с помощью простых атак.

В качестве наглядного образца можно привести инструкцию для пользователя, согласно которой система должна начинать свой ответ со слов, которые предполагают выполнение вредоносного запроса, например: «Конечно, я рад помочь».

Специалисты использовали подсказки в соответствии с отраслевым стандартом контрольного тестирования. В ходе исследования специалисты обнаружили, что некоторым моделям ИИ даже не требовался джейлбрейк, чтобы выдать нестандартный ответ. 

А вот когда использовался джейлбрейк, каждая модель отвечала как минимум один раз из пяти попыток. Три модели в 100% случаев давали ответы на вводящие в заблуждение запросы.

Анализ протестированных моделей показал, что они остаются уязвимы для базовых джейлбрейков, а некоторые LLM выдают вредные результаты без каких-либо попыток обойти защиту. Какие именно модели были исследованы, специалисты не сообщили.

В институте также оценили возможности моделей ИИ выполнять определенные задачи для проведения основных методов кибератак. Несколько LLM смогли решить задачи, которые исследователи назвали «хакерскими на уровне средней школы», но немногие смогли выполнить более сложные действия «университетского уровня».

39% компаний в России обходятся без динамической ИТ-инфраструктуры

Почти четыре из десяти российских компаний до сих пор не используют динамическую ИТ-инфраструктуру. Об этом свидетельствуют результаты опроса зрителей эфира AM Live, где эксперты обсуждали развитие динамических систем и переход бизнеса к более гибким моделям.

По данным опроса, 39% компаний вообще не применяют динамическую инфраструктуру. Как отметил архитектор UserGate Михаил Кадер, цифра выглядит неожиданной на фоне активных разговоров о цифровой трансформации.

Впрочем, генеральный директор «Флант» Александр Титов считает, что противоречия здесь нет. В эфире в основном говорили о компаниях, создающих собственные цифровые продукты. У многих организаций иная специализация, поэтому они могут обходиться без динамической модели. Хотя, по его мнению, даже такие компании могли бы использовать её для экономии ресурсов и оптимизации мощностей.

Руководитель продуктового департамента Скала^р Группы Rubytech Роман Бычков добавил, что такие результаты показывают масштаб потенциального рынка — поле для развития решений в этой сфере по-прежнему широкое.

В то же время директор департамента продуктового развития гибридных и частных облаков Cloud.ru Руслан Иванов обратил внимание на другую сторону статистики: большинство участников понимают, что такое динамическая инфраструктура и как она работает. А значит, интерес к теме есть, и обсуждение идёт не в пустоту.

Эксперты сошлись во мнении, что динамическая модель помогает снижать операционные издержки и эффективнее использовать вычислительные ресурсы. Однако переход к ней даётся не всем легко. В другом вопросе опроса 67% респондентов назвали главным препятствием сложности интеграции с существующими системами, а 51% — риски сбоев при миграции.

Коммерческий директор ITKey Вячеслав Самарин отметил, что вендоры сегодня предлагают сопровождение и поддержку при переходе, стараясь сделать миграцию максимально безболезненной.

В целом участники эфира согласились: динамическая инфраструктура перестала быть инструментом только для ИТ-лидеров. Сегодня она может быть полезна компаниям самых разных отраслей — от ретейла до промышленности.

RSS: Новости на портале Anti-Malware.ru