ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

Исследователь из Mozilla изобрел новый способ обхода контент-фильтров больших языковых моделей (БЯМ, LLM), применяемых во избежание злоупотреблений. Он разбил ввод на блоки, а вредоносную инструкцию представил в шестнадцатеричной кодировке.

В качестве объекта для атаки Марко Фигероа (Marco Figueroa) избрал GPT-4o, новейший и самый мощный чат-бот производства OpenAI. Его ИИ-модель анализирует пользовательский ввод, выискивая запрещенные слова, признаки злого умысла в инструкциях и т. п.

Подобные ограничения LLM можно обойти, изменив формулировки, однако это потребует креатива. Руководитель проектов bug bounty Mozilla по генеративному ИИ пошел более простым путем.

Используя нестандартный формат — шестнадцатеричный, Фигероа попросил GPT-4o изучить имеющуюся в интернете информацию об уязвимости CVE-2024-41110 (в Docker) и написать для нее эксплойт. Подробные инструкции по расшифровке вводились на естественном языке, а слово «exploit», способное вызвать негативную реакцию, было набрано как «3xploit».

 

Команда «еще раз прочесть все задание» была призвана повлиять на интерпретацию запроса с тем, чтобы получить более обстоятельный ответ. В итоге ИИ-бот сгенерировал эксплойт, схожий с уже опубликованным PoC, и бонусом попытался опробовать его на себе — к удивлению собеседника, который об этом не просил.

Расшифровка ввода в шестнадцатеричном формате помогла рассеять внимание LLM, которые и без того не видят леса за деревьями: прилежно анализируют каждую реплику, забывая, что в сумме они могут вызвать неприемлемый вывод.

Ту же тактику джейлбрейка ИИ Фигероа опробовал на LLM другого производителя, Anthropic. Оказалось, что они лучше защищены, так как используют фильтрацию и ввода, и вывода; заставить их дать вредный совет, по словам исследователя, в 10 раз труднее.

Украли iPhone? Apple советует не светить контакты на экране

Apple обновила рекомендации для владельцев украденных iPhone и добавила неожиданное предупреждение. Если смартфон именно украли, а не потеряли, оставлять на экране блокировки свои контакты не стоит. Раньше компания советовала указывать номер телефона или другое средство связи в режиме пропажи (Lost Mode), чтобы нашедший устройство мог вернуть его владельцу.

Теперь Apple уточняет: этот совет подходит только для потерянных гаджетов. Если же речь идет о краже, контактные данные могут сыграть против владельца.

В корпорации объясняют, что злоумышленники всё чаще используют методы социальной инженерии. Получив номер телефона жертвы, вор может позвонить от имени Apple, мобильного оператора или службы поддержки и попытаться выманить данные для доступа к аккаунту Apple ID.

Apple также напоминает о другой распространенной ошибке. После кражи нельзя удалять устройство из сервиса Find My («Локатор»).

Пока iPhone привязан к аккаунту владельца, действует блокировка активации. Она не позволяет злоумышленнику просто сбросить устройство и перепродать его как новый смартфон. Если удалить аппарат из Find My, этот защитный механизм перестанет работать.

Еще одна рекомендация — как можно быстрее перевести устройство в режим пропажи. В Apple подчеркивают, что функция Stolen Device Protection («Защита украденного устройства») действует ограниченное время и не заменяет Lost Mode.

Купертиновцы также раскрыли одну из популярных схем краж. Мошенник предлагает сфотографировать компанию друзей на чужой iPhone. Пока телефон находится у него в руках, он зажимает кнопки питания и громкости, временно отключая Face ID.

После этого владелец вынужден разблокировать устройство кодом, который злоумышленник может подсмотреть. Остается лишь дождаться удобного момента для кражи смартфона.

RSS: Новости на портале Anti-Malware.ru