ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

Исследователь из Mozilla изобрел новый способ обхода контент-фильтров больших языковых моделей (БЯМ, LLM), применяемых во избежание злоупотреблений. Он разбил ввод на блоки, а вредоносную инструкцию представил в шестнадцатеричной кодировке.

В качестве объекта для атаки Марко Фигероа (Marco Figueroa) избрал GPT-4o, новейший и самый мощный чат-бот производства OpenAI. Его ИИ-модель анализирует пользовательский ввод, выискивая запрещенные слова, признаки злого умысла в инструкциях и т. п.

Подобные ограничения LLM можно обойти, изменив формулировки, однако это потребует креатива. Руководитель проектов bug bounty Mozilla по генеративному ИИ пошел более простым путем.

Используя нестандартный формат — шестнадцатеричный, Фигероа попросил GPT-4o изучить имеющуюся в интернете информацию об уязвимости CVE-2024-41110 (в Docker) и написать для нее эксплойт. Подробные инструкции по расшифровке вводились на естественном языке, а слово «exploit», способное вызвать негативную реакцию, было набрано как «3xploit».

 

Команда «еще раз прочесть все задание» была призвана повлиять на интерпретацию запроса с тем, чтобы получить более обстоятельный ответ. В итоге ИИ-бот сгенерировал эксплойт, схожий с уже опубликованным PoC, и бонусом попытался опробовать его на себе — к удивлению собеседника, который об этом не просил.

Расшифровка ввода в шестнадцатеричном формате помогла рассеять внимание LLM, которые и без того не видят леса за деревьями: прилежно анализируют каждую реплику, забывая, что в сумме они могут вызвать неприемлемый вывод.

Ту же тактику джейлбрейка ИИ Фигероа опробовал на LLM другого производителя, Anthropic. Оказалось, что они лучше защищены, так как используют фильтрацию и ввода, и вывода; заставить их дать вредный совет, по словам исследователя, в 10 раз труднее.

Подпишитесь на новости

Под видом бесплатной GTA VI распространяют стилеры для кражи паролей

Эксперты Solar 4RAYS группы компаний «Солар» обнаружили как минимум две кампании по распространению вредоносной программы под видом GTA VI. Пользователям предлагают бесплатную игру для Windows или лончер с якобы слитой предрелизной сборкой. Вместо игры на компьютер попадают программы для кражи данных.

В первой кампании рекламный баннер вёл в блокнот Google Colab, откуда пользователь переходил на сайт Windows Software Hub.

Там предлагали ZIP-архив с отметкой Verified Safe. Ссылка на блокнот также встречалась в поисковой выдаче по запросам о скачивании GTA VI для Windows.

Внутри архива находились файл Gta_6_Exe_File_Download.exe и инструкция. Она требовала запустить программу с правами администратора, проигнорировать предупреждение Windows и при необходимости добавить файл в исключения антивируса.

По данным исследователей, установщик оказался WARDEN Stealer, похищающим логины, пароли, контактные данные и доступ к криптокошелькам.

Во второй кампании приманкой служил архив CyberLauncher.zip с неофициальной бета-версией игры. Запуск !SETUP.bat приводил к загрузке вредоносной программы, схожей со стилером spkvol.dll.

Она пыталась повысить привилегии, добавить исключение в Microsoft Defender и отключить Smart App Control. Программа также собирала сведения о компьютере и пользователе и пыталась отправить их через Discord.

Аналитик Solar 4RAYS Никита Прямухин отметил, что такие схемы побуждают жертву самостоятельно ослабить защиту компьютера. Он рекомендует скачивать игры из официальных источников и не отключать антивирус по указаниям из архива.

RSS: Новости на портале Anti-Malware.ru