Легко взламываемые модели ИИ показывают, что меры защиты не работают

Легко взламываемые модели ИИ показывают, что меры защиты не работают

Легко взламываемые модели ИИ показывают, что меры защиты не работают

В новом отчете британского Института безопасности ИИ говорится, что основные модели искусственного интеллекта легко взламываются, а меры их защиты не работают.

Четыре общедоступные большие языковые модели (Large Language Models, LLM) чрезвычайно уязвимы для «джейлбрейка» — эксплуатации багов, позволяющей заставить модели ИИ выполнять то, что разработчики им делать запретили.

LLM тщательно настраиваются для безопасного публичного пользования. Их обучают избегать вредных реакци1 и токсичных результатов, используя меры предосторожности.

Однако исследователи обнаружили возможность обойти защиту с помощью простых атак.

В качестве наглядного образца можно привести инструкцию для пользователя, согласно которой система должна начинать свой ответ со слов, которые предполагают выполнение вредоносного запроса, например: «Конечно, я рад помочь».

Специалисты использовали подсказки в соответствии с отраслевым стандартом контрольного тестирования. В ходе исследования специалисты обнаружили, что некоторым моделям ИИ даже не требовался джейлбрейк, чтобы выдать нестандартный ответ. 

А вот когда использовался джейлбрейк, каждая модель отвечала как минимум один раз из пяти попыток. Три модели в 100% случаев давали ответы на вводящие в заблуждение запросы.

Анализ протестированных моделей показал, что они остаются уязвимы для базовых джейлбрейков, а некоторые LLM выдают вредные результаты без каких-либо попыток обойти защиту. Какие именно модели были исследованы, специалисты не сообщили.

В институте также оценили возможности моделей ИИ выполнять определенные задачи для проведения основных методов кибератак. Несколько LLM смогли решить задачи, которые исследователи назвали «хакерскими на уровне средней школы», но немногие смогли выполнить более сложные действия «университетского уровня».

Газонокосилка под контролем хакера: у Yarbo нашли опасные уязвимости

Исследователь в области безопасности Андреас Макрис обнаружил серьёзные уязвимости в роботах Yarbo — модульных садовых устройствах, которые могут работать как газонокосилки, снегоуборщики, воздуходувки, триммеры и кромкорезы. Проблема в том, что такие роботы можно удалённо перехватить, причём речь идёт не об одном устройстве, а потенциально о тысячах по всему миру.

Yarbo продаёт универсальные дворовые роботы стоимостью около 5000 долларов. В их основе один и тот же модуль на гусеницах, к которому подключаются разные насадки. И именно этот общий модуль, по словам исследователя, оказался плохо защищён.

Как утверждает Макрис, если получить доступ к одному роботу Yarbo, можно добраться и до остальных. В ходе демонстрации он показал карту примерно с 5400 устройствами в США и Европе и более чем 11 000 роботов по всему миру. Затем исследователь смог удалённо подключиться к одному из роботов в штате Нью-Йорк и управлять его камерой и движением.

Самое тревожное — это не только возможность покатать чужой гаджет по газону. Робот может передавать точные GPS-координаты, изображение с камер, адреса электронной почты владельцев и даже пароли от Wi-Fi. Журналист The Verge проверил эти данные на практике: по координатам он нашёл реальные дома владельцев Yarbo, а один из них подтвердил, что показанные исследователем пароли от Wi-Fi действительно принадлежат ему.

По словам Макриса, у всех роботов Yarbo используется одинаковый жёстко заданный root-пароль. Более того, даже если владелец вручную меняет его, обновление прошивки снова возвращает пароль к стандартному значению. Также исследователь говорит о встроенном механизме удалённого доступа, который автоматически разворачивается на каждом роботе, не может быть отключён владельцем и восстанавливается при удалении.

Злоумышленник может следить за участком через камеры робота, изучать расписание владельцев, пытаться атаковать домашнюю сеть или превращать устройство в часть ботнета. А в случае с газонокосилкой риски становятся ещё и физическими: у устройства есть лезвия, а некоторые команды позволяют обходить защитные механизмы. Макрис утверждает, что даже после нажатия аварийной кнопки остановки удалённый оператор может отправить команду разблокировки.

Чтобы показать масштаб проблемы, журналист The Verge провёл контролируемый эксперимент: лёг перед роботом Yarbo, а исследователь, находясь в Германии, удалённо управлял устройством в США. Лезвия при этом не вращались, а робот двигался задним ходом, но даже так тяжёлое устройство прижало человека к земле. Демонстрация получилась наглядной: небезопасный умный гаджет может быть опасен не только для данных, но и физически.

 

Макрис решил опубликовать информацию об уязвимостях без ожидания патчей от производителя. По его словам, у Yarbo не было понятного канала для сообщений об уязвимостях, а поддержка компании сначала описывала удалённый доступ как безопасную диагностическую функцию.

После публикации Yarbo заявила, что серьёзно относится к проблеме. Компания пообещала внедрить подтверждение удалённого доступа пользователем, более прозрачную историю сессий, усиленное журналирование, отдельный центр реагирования на уязвимости и, возможно, программу баг-баунти.

Тем не менее часть проблем, судя по описанию, находится не только в приложении или серверной логике, но и в прошивке самих роботов. А значит, Yarbo предстоит не просто подкрутить настройки, а серьёзно пересмотреть подход к безопасности устройств.

RSS: Новости на портале Anti-Malware.ru