ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

Исследователь из Mozilla изобрел новый способ обхода контент-фильтров больших языковых моделей (БЯМ, LLM), применяемых во избежание злоупотреблений. Он разбил ввод на блоки, а вредоносную инструкцию представил в шестнадцатеричной кодировке.

В качестве объекта для атаки Марко Фигероа (Marco Figueroa) избрал GPT-4o, новейший и самый мощный чат-бот производства OpenAI. Его ИИ-модель анализирует пользовательский ввод, выискивая запрещенные слова, признаки злого умысла в инструкциях и т. п.

Подобные ограничения LLM можно обойти, изменив формулировки, однако это потребует креатива. Руководитель проектов bug bounty Mozilla по генеративному ИИ пошел более простым путем.

Используя нестандартный формат — шестнадцатеричный, Фигероа попросил GPT-4o изучить имеющуюся в интернете информацию об уязвимости CVE-2024-41110 (в Docker) и написать для нее эксплойт. Подробные инструкции по расшифровке вводились на естественном языке, а слово «exploit», способное вызвать негативную реакцию, было набрано как «3xploit».

 

Команда «еще раз прочесть все задание» была призвана повлиять на интерпретацию запроса с тем, чтобы получить более обстоятельный ответ. В итоге ИИ-бот сгенерировал эксплойт, схожий с уже опубликованным PoC, и бонусом попытался опробовать его на себе — к удивлению собеседника, который об этом не просил.

Расшифровка ввода в шестнадцатеричном формате помогла рассеять внимание LLM, которые и без того не видят леса за деревьями: прилежно анализируют каждую реплику, забывая, что в сумме они могут вызвать неприемлемый вывод.

Ту же тактику джейлбрейка ИИ Фигероа опробовал на LLM другого производителя, Anthropic. Оказалось, что они лучше защищены, так как используют фильтрацию и ввода, и вывода; заставить их дать вредный совет, по словам исследователя, в 10 раз труднее.

Игры 18+ с сюрпризом: троян Argamal захватывает компьютеры пользователей

Эксперты Kaspersky GReAT обнаружили новую вредоносную кампанию, в рамках которой злоумышленники распространяют ранее неизвестный троян для удалённого доступа Argamal под видом игр категории 18+. С начала кампании вредоносная программа была обнаружена на устройствах сотен пользователей в разных странах, включая Россию, Бразилию, Германию и Вьетнам.

Причём на Россию пришлось 38% всех зафиксированных заражений. Схема атаки начинается банально: пользователь скачивает архив с игрой с подозрительного сайта или торрент-трекера.

После запуска вместе с игрой на устройство незаметно устанавливается вредоносный модуль. Но самое интересное происходит позже.

В отличие от многих зловредов, Argamal не спешит выдавать своё присутствие. Он может выжидать несколько дней, а затем загружает дополнительный троян, который фактически отдаёт компьютер в руки злоумышленников.

После этого атакующие получают широкие возможности по удалённому управлению системой. Троян умеет делать скриншоты, управлять курсором мыши, архивировать файлы и отправлять их на серверы злоумышленников, а также выключать или перезагружать устройство.

Для распространения кампании использовались сайты со скриншотами игр и ссылками на загрузку через файлообменник PixelDrain, который нередко фигурирует в схемах доставки вредоносных программ. Кроме того, заражённые файлы распространялись через торрент-трекеры.

 

Исследователи также обнаружили более хитрые варианты заражения. В некоторых случаях вредоносный код был встроен непосредственно в игровые файлы и запускался через модифицированные компоненты игры. В другом случае Argamal маскировался под чит и распространялся через игровой форум.

 

По словам специалистов Kaspersky, кампания продолжает активно развиваться. Во время наблюдения вредоносная программа регулярно обновлялась, получала новые функции и меняла инфраструктуру управления.

Исследователи также предполагают, что разработчики вредоносной цепочки могут быть испаноговорящими, на это указывают отдельные технические артефакты и комментарии в коде.

RSS: Новости на портале Anti-Malware.ru