ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

Исследователь из Mozilla изобрел новый способ обхода контент-фильтров больших языковых моделей (БЯМ, LLM), применяемых во избежание злоупотреблений. Он разбил ввод на блоки, а вредоносную инструкцию представил в шестнадцатеричной кодировке.

В качестве объекта для атаки Марко Фигероа (Marco Figueroa) избрал GPT-4o, новейший и самый мощный чат-бот производства OpenAI. Его ИИ-модель анализирует пользовательский ввод, выискивая запрещенные слова, признаки злого умысла в инструкциях и т. п.

Подобные ограничения LLM можно обойти, изменив формулировки, однако это потребует креатива. Руководитель проектов bug bounty Mozilla по генеративному ИИ пошел более простым путем.

Используя нестандартный формат — шестнадцатеричный, Фигероа попросил GPT-4o изучить имеющуюся в интернете информацию об уязвимости CVE-2024-41110 (в Docker) и написать для нее эксплойт. Подробные инструкции по расшифровке вводились на естественном языке, а слово «exploit», способное вызвать негативную реакцию, было набрано как «3xploit».

 

Команда «еще раз прочесть все задание» была призвана повлиять на интерпретацию запроса с тем, чтобы получить более обстоятельный ответ. В итоге ИИ-бот сгенерировал эксплойт, схожий с уже опубликованным PoC, и бонусом попытался опробовать его на себе — к удивлению собеседника, который об этом не просил.

Расшифровка ввода в шестнадцатеричном формате помогла рассеять внимание LLM, которые и без того не видят леса за деревьями: прилежно анализируют каждую реплику, забывая, что в сумме они могут вызвать неприемлемый вывод.

Ту же тактику джейлбрейка ИИ Фигероа опробовал на LLM другого производителя, Anthropic. Оказалось, что они лучше защищены, так как используют фильтрацию и ввода, и вывода; заставить их дать вредный совет, по словам исследователя, в 10 раз труднее.

Российский рынок PAM упёрся в потолок: 5,4 млрд рублей и борьба за МСБ

Российский рынок PAM-систем, похоже, добрался до потолка. По итогам 2025 года его объём составил 5,4 млрд рублей, однако дальнейший бурный рост, которым отрасль жила последние годы, начинает замедляться. Такие выводы содержатся в исследовании компании Piccard, подготовленном по заказу разработчика «АйТи Бастион».

Под PAM (Privileged Access Management) понимаются системы управления привилегированным доступом — решения, которые контролируют действия администраторов, подрядчиков и других пользователей с расширенными правами в корпоративной инфраструктуре.

По оценке аналитиков, из общего объёма рынка около 3,8 млрд рублей пришлось на выручку разработчиков, а ещё 1,6 млрд рублей заработали интеграторы, занимающиеся поставкой и внедрением таких решений.

Главный вывод исследования — рынок достиг стадии насыщения. Основные заказчики последних лет, крупный бизнес и государственные организации, уже успели внедрить PAM-системы в рамках программ импортозамещения. Поэтому прежних темпов роста ждать становится всё сложнее.

Лидером рынка остаётся компания «АйТи Бастион» с платформой СКДПУ НТ. По данным исследования, её доля составляет 47%. Следом идут Индид с 26% рынка и Солар с 10%.

В Piccard прогнозируют, что в 2026 году рынок может даже сократиться. Среди причин называют замедление программ технологической независимости, охлаждение экономики и сокращение ИТ-бюджетов.

Однако полностью ставить крест на росте аналитики не спешат. Новым источником спроса может стать малый и средний бизнес. Опрос представителей МСБ показал, что компании всё чаще задумываются о контроле привилегированного доступа при работе с подрядчиками, защите собственных разработок и выполнении требований крупных заказчиков в области информационной безопасности.

Правда, у небольших компаний свои требования. Если крупный бизнес часто готов платить за сложные многофункциональные платформы, то МСБ ждёт от PAM-систем простоты внедрения, надёжности и разумной стоимости без набора избыточных возможностей.

Таким образом, после нескольких лет активного роста рынок PAM вступает в новую фазу. Теперь борьба за клиентов будет идти уже не столько между проектами импортозамещения, сколько за внимание малого и среднего бизнеса.

RSS: Новости на портале Anti-Malware.ru