Легко взламываемые модели ИИ показывают, что меры защиты не работают

Легко взламываемые модели ИИ показывают, что меры защиты не работают

Легко взламываемые модели ИИ показывают, что меры защиты не работают

В новом отчете британского Института безопасности ИИ говорится, что основные модели искусственного интеллекта легко взламываются, а меры их защиты не работают.

Четыре общедоступные большие языковые модели (Large Language Models, LLM) чрезвычайно уязвимы для «джейлбрейка» — эксплуатации багов, позволяющей заставить модели ИИ выполнять то, что разработчики им делать запретили.

LLM тщательно настраиваются для безопасного публичного пользования. Их обучают избегать вредных реакци1 и токсичных результатов, используя меры предосторожности.

Однако исследователи обнаружили возможность обойти защиту с помощью простых атак.

В качестве наглядного образца можно привести инструкцию для пользователя, согласно которой система должна начинать свой ответ со слов, которые предполагают выполнение вредоносного запроса, например: «Конечно, я рад помочь».

Специалисты использовали подсказки в соответствии с отраслевым стандартом контрольного тестирования. В ходе исследования специалисты обнаружили, что некоторым моделям ИИ даже не требовался джейлбрейк, чтобы выдать нестандартный ответ. 

А вот когда использовался джейлбрейк, каждая модель отвечала как минимум один раз из пяти попыток. Три модели в 100% случаев давали ответы на вводящие в заблуждение запросы.

Анализ протестированных моделей показал, что они остаются уязвимы для базовых джейлбрейков, а некоторые LLM выдают вредные результаты без каких-либо попыток обойти защиту. Какие именно модели были исследованы, специалисты не сообщили.

В институте также оценили возможности моделей ИИ выполнять определенные задачи для проведения основных методов кибератак. Несколько LLM смогли решить задачи, которые исследователи назвали «хакерскими на уровне средней школы», но немногие смогли выполнить более сложные действия «университетского уровня».

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Microsoft расследует сбой: Outlook на Windows падает при старте

У части пользователей Microsoft 365 на Windows перестал запускаться классический Outlook: почтовый клиент вылетает сразу после старта с ошибкой аутентификации.

Microsoft уже признала проблему и опубликовала документ с временными рекомендациями. Причину сбоя пока не раскрывают, но известно, что устранить её можно только через поддержку Exchange Online. Для этого администраторам советуют открыть тикет в портале Microsoft 365 Admin.

На проблемных системах пользователи видят сообщение, что Outlook не может стартовать и вход в Exchange-аккаунт невозможен. В некоторых случаях в логах появляется ошибка: «LID: 49586 - Authentication concurrency limit is reached».

 

Пока компания работает над постоянным исправлением, предлагаются обходные пути:

  • использовать новый Outlook для Windows;
  • заходить в почту через веб-версию Outlook Web Access (OWA).

Также Microsoft напоминает про стандартные шаги для устранения проблем с запуском Outlook: запуск в безопасном режиме с отключением надстроек, создание нового профиля, восстановление файлов данных и команду /resetnavpane.

Это уже не первый сбой классического Outlook за год: ранее фиксили баги с нагрузкой на CPU при наборе текста, падения при открытии писем и проблемы с drag-and-drop после обновления Windows 24H2.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru