ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

Исследователь из Mozilla изобрел новый способ обхода контент-фильтров больших языковых моделей (БЯМ, LLM), применяемых во избежание злоупотреблений. Он разбил ввод на блоки, а вредоносную инструкцию представил в шестнадцатеричной кодировке.

В качестве объекта для атаки Марко Фигероа (Marco Figueroa) избрал GPT-4o, новейший и самый мощный чат-бот производства OpenAI. Его ИИ-модель анализирует пользовательский ввод, выискивая запрещенные слова, признаки злого умысла в инструкциях и т. п.

Подобные ограничения LLM можно обойти, изменив формулировки, однако это потребует креатива. Руководитель проектов bug bounty Mozilla по генеративному ИИ пошел более простым путем.

Используя нестандартный формат — шестнадцатеричный, Фигероа попросил GPT-4o изучить имеющуюся в интернете информацию об уязвимости CVE-2024-41110 (в Docker) и написать для нее эксплойт. Подробные инструкции по расшифровке вводились на естественном языке, а слово «exploit», способное вызвать негативную реакцию, было набрано как «3xploit».

 

Команда «еще раз прочесть все задание» была призвана повлиять на интерпретацию запроса с тем, чтобы получить более обстоятельный ответ. В итоге ИИ-бот сгенерировал эксплойт, схожий с уже опубликованным PoC, и бонусом попытался опробовать его на себе — к удивлению собеседника, который об этом не просил.

Расшифровка ввода в шестнадцатеричном формате помогла рассеять внимание LLM, которые и без того не видят леса за деревьями: прилежно анализируют каждую реплику, забывая, что в сумме они могут вызвать неприемлемый вывод.

Ту же тактику джейлбрейка ИИ Фигероа опробовал на LLM другого производителя, Anthropic. Оказалось, что они лучше защищены, так как используют фильтрацию и ввода, и вывода; заставить их дать вредный совет, по словам исследователя, в 10 раз труднее.

Передачу долгов клиентов SAP российской компании сочли законной

Арбитражный суд Москвы признал законной сделку по уступке долгов российской «дочки» SAP юридической компании «Легат». В 2024 году SAP передала ей права требования за 60 млн рублей, что составило около 3% от общего объёма долгового портфеля.

Как напоминает РБК, после ухода SAP из России компания продолжила взыскивать задолженность с российских пользователей своих продуктов.

Среди должников SAP оказались многие крупные компании, в том числе интегратор КРОК, футбольный клуб «Зенит», розничная сеть «О`КЕЙ», а также ряд структур «Росатома».

В число должников вошёл и краснодарский производитель дверей «Феррони». Задолженность компании по лицензионным договорам составила 63 млн рублей. «Феррони» обратилась в суд с иском к «Легату», назвав сделку между SAP и юридической фирмой способом обхода требований указа президента № 322, который регулирует порядок расчётов с правообладателями из недружественных стран.

Однако суд встал на сторону «Легата». В решении указано, что указ № 322 распространяется исключительно на отношения между российским должником и иностранным кредитором, а при уступке права требования российской компании действие контрсанкционных мер прекращается.

По оценке опрошенных РБК юристов, это решение формирует прецедент в вопросе вывода замороженных активов иностранных вендоров, покинувших российский рынок. При этом, как отмечает старший юрист BGP Litigation Ирина Ротачкова, оно противоречит позиции Верховного суда, который ранее выносил по аналогичным делам противоположные решения. В случае если «Феррони» дойдёт до высшей судебной инстанции, у компании остаются высокие шансы на отмену данного решения.

Советник коллегии адвокатов Pen & Paper Роман Кузьмин также назвал выводы суда несоответствующими сложившейся практике. По его словам, только в октябре 2024 года арбитражные суды не менее 226 раз отказывали зарубежным правообладателям в применении механизма цессии.

RSS: Новости на портале Anti-Malware.ru