ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

Исследователь из Mozilla изобрел новый способ обхода контент-фильтров больших языковых моделей (БЯМ, LLM), применяемых во избежание злоупотреблений. Он разбил ввод на блоки, а вредоносную инструкцию представил в шестнадцатеричной кодировке.

В качестве объекта для атаки Марко Фигероа (Marco Figueroa) избрал GPT-4o, новейший и самый мощный чат-бот производства OpenAI. Его ИИ-модель анализирует пользовательский ввод, выискивая запрещенные слова, признаки злого умысла в инструкциях и т. п.

Подобные ограничения LLM можно обойти, изменив формулировки, однако это потребует креатива. Руководитель проектов bug bounty Mozilla по генеративному ИИ пошел более простым путем.

Используя нестандартный формат — шестнадцатеричный, Фигероа попросил GPT-4o изучить имеющуюся в интернете информацию об уязвимости CVE-2024-41110 (в Docker) и написать для нее эксплойт. Подробные инструкции по расшифровке вводились на естественном языке, а слово «exploit», способное вызвать негативную реакцию, было набрано как «3xploit».

 

Команда «еще раз прочесть все задание» была призвана повлиять на интерпретацию запроса с тем, чтобы получить более обстоятельный ответ. В итоге ИИ-бот сгенерировал эксплойт, схожий с уже опубликованным PoC, и бонусом попытался опробовать его на себе — к удивлению собеседника, который об этом не просил.

Расшифровка ввода в шестнадцатеричном формате помогла рассеять внимание LLM, которые и без того не видят леса за деревьями: прилежно анализируют каждую реплику, забывая, что в сумме они могут вызвать неприемлемый вывод.

Ту же тактику джейлбрейка ИИ Фигероа опробовал на LLM другого производителя, Anthropic. Оказалось, что они лучше защищены, так как используют фильтрацию и ввода, и вывода; заставить их дать вредный совет, по словам исследователя, в 10 раз труднее.

На R-EVOlution Conference 2026 поспорили, где ИБ пора перестать усложнять

В Москве прошла четвёртая ежегодная конференция R-EVOlution Conference 2026, посвящённая цифровизации и кибербезопасности. В этом году организаторы и участники говорили в первую очередь об эффективности — без лишнего шума и без привычной гонки за всем новым сразу.

Судя по программе, главный вопрос звучал примерно так: что в ИТ и ИБ действительно даёт результат, а что только добавляет сложности, затрат и перегрузки командам. Именно вокруг этого и строились бизнес- и технический треки конференции.

В мероприятии приняли участие более 1000 человек в онлайн- и офлайн-форматах. На площадке выступили 39 спикеров, а в центре обсуждения были вполне прикладные темы: оптимизация процессов, выбор инструментов, внедрение платформенных решений, развитие SOC, управление уязвимостями и использование ИИ в рабочих сценариях.

Одной из центральных тем стала экономика ИТ- и ИБ-решений. Участники обсуждали, где бизнесу стоит ускорять цифровизацию, а где, наоборот, полезнее притормозить и трезво оценить эффект от вложений. Отдельно говорили о роли искусственного интеллекта — не только как о полезном инструменте, но и как об источнике новых рисков, расходов и неопределённости.

 

Если коротко, общий настрой конференции можно описать так: рынок постепенно уходит от логики бесконечных «технологических революций» и всё чаще смотрит на управляемость, интеграцию и практическую отдачу. Не просто внедрить ещё один модный инструмент, а понять, зачем он нужен, как впишется в существующую инфраструктуру и не создаст ли больше проблем, чем решит.

Много внимания уделили и прикладным кейсам. Представители компаний и команд SOC рассказывали, как выстраивают процессы управления уязвимостями, как выбирают SIEM, как переходят от разрозненных средств защиты к более связанным сценариям автоматизации и как вообще пытаются сохранить баланс между скоростью, качеством и бюджетом.

Отдельная дискуссия была посвящена, пожалуй, одной из самых болезненных тем для рынка: где в ИБ можно экономить, а где такая экономия потом обходится слишком дорого. Разговор шёл о границах допустимой оптимизации, соотношении инвестиций в людей и технологии и о том, чем может закончиться попытка «срезать лишнее» в чувствительных местах.

 

Технический трек при этом был максимально приземлённым. Там обсуждали уже не общие подходы, а реальные сценарии работы инженеров, SOC-аналитиков и архитекторов: мониторинг, threat hunting, реагирование на инциденты, настройку защитных систем. Параллельно работала и зона SIEM Lounge, где вживую показывали нагрузочное тестирование и проводили практические воркшопы по расследованию инцидентов.

 

Ещё один заметный итог конференции — подписание четырёх стратегических соглашений с участниками рынка. Но если вынести за скобки формальную часть, то главный вывод у мероприятия получился вполне содержательным: ИТ и ИБ всё больше движутся в сторону осознанной эффективности, где ценятся не громкие лозунги, а понятные процессы, связность решений и измеримый результат.

В целом R-EVOlution Conference 2026 показала довольно понятный настрой рынка: сейчас важнее не просто наращивать стек технологий, а учиться использовать его без перегруза — и для людей, и для инфраструктуры.

RSS: Новости на портале Anti-Malware.ru