Легко взламываемые модели ИИ показывают, что меры защиты не работают

Легко взламываемые модели ИИ показывают, что меры защиты не работают

Легко взламываемые модели ИИ показывают, что меры защиты не работают

В новом отчете британского Института безопасности ИИ говорится, что основные модели искусственного интеллекта легко взламываются, а меры их защиты не работают.

Четыре общедоступные большие языковые модели (Large Language Models, LLM) чрезвычайно уязвимы для «джейлбрейка» — эксплуатации багов, позволяющей заставить модели ИИ выполнять то, что разработчики им делать запретили.

LLM тщательно настраиваются для безопасного публичного пользования. Их обучают избегать вредных реакци1 и токсичных результатов, используя меры предосторожности.

Однако исследователи обнаружили возможность обойти защиту с помощью простых атак.

В качестве наглядного образца можно привести инструкцию для пользователя, согласно которой система должна начинать свой ответ со слов, которые предполагают выполнение вредоносного запроса, например: «Конечно, я рад помочь».

Специалисты использовали подсказки в соответствии с отраслевым стандартом контрольного тестирования. В ходе исследования специалисты обнаружили, что некоторым моделям ИИ даже не требовался джейлбрейк, чтобы выдать нестандартный ответ. 

А вот когда использовался джейлбрейк, каждая модель отвечала как минимум один раз из пяти попыток. Три модели в 100% случаев давали ответы на вводящие в заблуждение запросы.

Анализ протестированных моделей показал, что они остаются уязвимы для базовых джейлбрейков, а некоторые LLM выдают вредные результаты без каких-либо попыток обойти защиту. Какие именно модели были исследованы, специалисты не сообщили.

В институте также оценили возможности моделей ИИ выполнять определенные задачи для проведения основных методов кибератак. Несколько LLM смогли решить задачи, которые исследователи назвали «хакерскими на уровне средней школы», но немногие смогли выполнить более сложные действия «университетского уровня».

В Иркутской области школьника удалили с ЕГЭ за умные очки с камерой

В Иркутской области выпускник решил зайти на ЕГЭ с технологическим апгрейдом и быстро пожалел об этом. Школьника удалили с экзамена после того, как наблюдатели заметили камеру в его умных очках.

Об этом сообщает телеграм-канал Baza. По данным издания, одиннадцатиклассник пришел на экзамен в очках, которые внешне выглядели как обычная оптика.

Однако наблюдатели, контролировавшие проведение ЕГЭ, заметили встроенную камеру. После этого у школьника забрали бланки, работу аннулировали, а самого выпускника вывели из аудитории.

Официальной причиной удаления указали использование средств связи. Для ЕГЭ это жесткое нарушение: на экзамене запрещены телефоны, умные устройства, камеры, наушники и любые гаджеты, которые могут использоваться для передачи или получения информации.

Самое неприятное для выпускника — пересдать экзамен он сможет только в следующем году.

В региональной комиссии этот случай уже назвали одним из самых технологичных за всю историю проведения ЕГЭ в Иркутской области.

История показывает, что экзаменационные аудитории постепенно превращаются в поле боя не только со шпаргалками, но и с носимыми гаджетами. Если раньше наблюдатели искали телефоны в карманах и записки в рукавах, теперь приходится внимательно смотреть даже на очки.

RSS: Новости на портале Anti-Malware.ru