ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

Татьяна Никитина 29 Октября 2024 - 20:39

...

ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

Исследователь из Mozilla изобрел новый способ обхода контент-фильтров больших языковых моделей (БЯМ, LLM), применяемых во избежание злоупотреблений. Он разбил ввод на блоки, а вредоносную инструкцию представил в шестнадцатеричной кодировке.

В качестве объекта для атаки Марко Фигероа (Marco Figueroa) избрал GPT-4o, новейший и самый мощный чат-бот производства OpenAI. Его ИИ-модель анализирует пользовательский ввод, выискивая запрещенные слова, признаки злого умысла в инструкциях и т. п.

Подобные ограничения LLM можно обойти, изменив формулировки, однако это потребует креатива. Руководитель проектов bug bounty Mozilla по генеративному ИИ пошел более простым путем.

Используя нестандартный формат — шестнадцатеричный, Фигероа попросил GPT-4o изучить имеющуюся в интернете информацию об уязвимости CVE-2024-41110 (в Docker) и написать для нее эксплойт. Подробные инструкции по расшифровке вводились на естественном языке, а слово «exploit», способное вызвать негативную реакцию, было набрано как «3xploit».

Команда «еще раз прочесть все задание» была призвана повлиять на интерпретацию запроса с тем, чтобы получить более обстоятельный ответ. В итоге ИИ-бот сгенерировал эксплойт, схожий с уже опубликованным PoC, и бонусом попытался опробовать его на себе — к удивлению собеседника, который об этом не просил.

Расшифровка ввода в шестнадцатеричном формате помогла рассеять внимание LLM, которые и без того не видят леса за деревьями: прилежно анализируют каждую реплику, забывая, что в сумме они могут вызвать неприемлемый вывод.

Ту же тактику джейлбрейка ИИ Фигероа опробовал на LLM другого производителя, Anthropic. Оказалось, что они лучше защищены, так как используют фильтрацию и ввода, и вывода; заставить их дать вредный совет, по словам исследователя, в 10 раз труднее.

Следующая главная новость »

Ошибка в настройках стоит дорого: как управлять конфигурациями?
Регистрируйтесь на эфир!

Екатерина Быстрова 17 Июня 2026 - 17:37

Solar Aura Мошенничество Онлайн-мошенничество Домашние пользователи ГК «Солар»

Мошенники заманивают россиян фейковыми ваучерами на 100 литров топлива

Киберпреступники быстро подстраиваются под любую громкую новость. Стоило в информационном поле появиться разговорам о топливных ограничениях и лимитах, как мошенники запустили новую схему с бесплатным бензином.

Об этом сообщили специалисты центра мониторинга внешних цифровых угроз Solar AURA группы компаний «Солар».

По данным экспертов, злоумышленники начали распространять фишинговый сайт, который выдаёт себя за государственную инициативу поддержки граждан. Посетителям обещают от 20 до 100 литров бесплатного топлива и заявляют, что акция действует более чем на 500 АЗС по всей стране.

Выглядит всё достаточно убедительно: официальные формулировки, ссылки на несуществующие государственные программы и обещания быстрой компенсации расходов на бензин.

Для получения топливного ваучера пользователю предлагают заполнить анкету с персональными данными. Среди обязательных полей — ФИО, номер телефона и реквизиты банковской карты.

После этого жертва рискует не только потерять деньги, но и передать мошенникам данные, которые затем могут использоваться для новых атак, оформления кредитов или социальной инженерии.

По словам директора по развитию центра мониторинга внешних цифровых угроз Solar AURA Александра Вураско, подобные предложения не имеют никакого отношения к государственным программам поддержки.

Эксперты напоминают: любые реальные меры поддержки следует проверять только через официальные ресурсы органов власти. Также стоит внимательно смотреть на адрес сайта. Фишинговые страницы часто используют похожие домены с лишними символами, заменой букв или незначительными опечатками.

По данным Solar AURA, число фишинговых сайтов среди клиентов компании по итогам 2025 года выросло в полтора раза. В числе самых популярных приманок остаются поддельные маркетплейсы, инвестиционные платформы, государственные сервисы и банковские ресурсы.

Теперь к этому списку добавились ещё и бесплатные талоны на бензин. Как показывает практика, если в интернете предлагают 100 литров топлива просто за заполнение анкеты, заправиться в итоге может только мошенник — за чужой счёт.

Ошибка в настройках стоит дорого: как управлять конфигурациями?
Регистрируйтесь на эфир!