ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

Исследователь из Mozilla изобрел новый способ обхода контент-фильтров больших языковых моделей (БЯМ, LLM), применяемых во избежание злоупотреблений. Он разбил ввод на блоки, а вредоносную инструкцию представил в шестнадцатеричной кодировке.

В качестве объекта для атаки Марко Фигероа (Marco Figueroa) избрал GPT-4o, новейший и самый мощный чат-бот производства OpenAI. Его ИИ-модель анализирует пользовательский ввод, выискивая запрещенные слова, признаки злого умысла в инструкциях и т. п.

Подобные ограничения LLM можно обойти, изменив формулировки, однако это потребует креатива. Руководитель проектов bug bounty Mozilla по генеративному ИИ пошел более простым путем.

Используя нестандартный формат — шестнадцатеричный, Фигероа попросил GPT-4o изучить имеющуюся в интернете информацию об уязвимости CVE-2024-41110 (в Docker) и написать для нее эксплойт. Подробные инструкции по расшифровке вводились на естественном языке, а слово «exploit», способное вызвать негативную реакцию, было набрано как «3xploit».

 

Команда «еще раз прочесть все задание» была призвана повлиять на интерпретацию запроса с тем, чтобы получить более обстоятельный ответ. В итоге ИИ-бот сгенерировал эксплойт, схожий с уже опубликованным PoC, и бонусом попытался опробовать его на себе — к удивлению собеседника, который об этом не просил.

Расшифровка ввода в шестнадцатеричном формате помогла рассеять внимание LLM, которые и без того не видят леса за деревьями: прилежно анализируют каждую реплику, забывая, что в сумме они могут вызвать неприемлемый вывод.

Ту же тактику джейлбрейка ИИ Фигероа опробовал на LLM другого производителя, Anthropic. Оказалось, что они лучше защищены, так как используют фильтрацию и ввода, и вывода; заставить их дать вредный совет, по словам исследователя, в 10 раз труднее.

Google упростила удаление личных данных и интимных фото из поиска

В интернете всегда найдётся кто-то, кто хочет узнать о вас больше, чем следовало бы. К счастью, у Google есть инструменты, которые помогают убрать лишнее из поисковой выдачи. Компания обновила сервис Results About You, который ищет и помогает удалить из выдачи страницы с вашими персональными данными.

Теперь инструмент умеет находить не только адреса и телефоны, но и номера документов, включая паспорт, водительские права и даже номер социального страхования (для США).

Чтобы система знала, что искать, пользователю нужно заранее добавить часть этих данных в настройках. Для водительских прав требуется полный номер, а для паспорта или SSN — только последние четыре цифры. После этого Google будет периодически сканировать выдачу и присылать уведомления, если найдёт совпадения.

Важно понимать: контент не исчезает из Сети полностью, но перестаёт отображаться в поиске Google, что для большинства пользователей уже существенно снижает риски.

Обновление коснулось и инструмента для удаления интимных изображений, опубликованных без согласия человека. Речь идёт как о реальных фото, так и о дипфейках и других сгенерированных ИИ материалах.

Теперь пожаловаться на такие изображения стало проще: достаточно нажать на три точки рядом с картинкой в поиске, выбрать «Удалить результат» и указать, что это интимное изображение. Google уточнит, настоящее это фото или дипфейк, а затем запустит проверку.

Кроме того, теперь можно добавлять сразу несколько изображений в одну заявку, что особенно актуально в эпоху, когда генеративный ИИ позволяют создавать подобный контент буквально за минуты.

Google также добавила возможность мониторинга: если функция включена, система будет автоматически отслеживать появление новых подобных изображений и предупреждать пользователя.

Поиск по ID уже доступен в Results About You. Обновлённый инструмент для удаления интимного контента начнёт появляться в ближайшие дни и будет постепенно распространяться на разные страны.

RSS: Новости на портале Anti-Malware.ru