ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

Исследователь из Mozilla изобрел новый способ обхода контент-фильтров больших языковых моделей (БЯМ, LLM), применяемых во избежание злоупотреблений. Он разбил ввод на блоки, а вредоносную инструкцию представил в шестнадцатеричной кодировке.

В качестве объекта для атаки Марко Фигероа (Marco Figueroa) избрал GPT-4o, новейший и самый мощный чат-бот производства OpenAI. Его ИИ-модель анализирует пользовательский ввод, выискивая запрещенные слова, признаки злого умысла в инструкциях и т. п.

Подобные ограничения LLM можно обойти, изменив формулировки, однако это потребует креатива. Руководитель проектов bug bounty Mozilla по генеративному ИИ пошел более простым путем.

Используя нестандартный формат — шестнадцатеричный, Фигероа попросил GPT-4o изучить имеющуюся в интернете информацию об уязвимости CVE-2024-41110 (в Docker) и написать для нее эксплойт. Подробные инструкции по расшифровке вводились на естественном языке, а слово «exploit», способное вызвать негативную реакцию, было набрано как «3xploit».

 

Команда «еще раз прочесть все задание» была призвана повлиять на интерпретацию запроса с тем, чтобы получить более обстоятельный ответ. В итоге ИИ-бот сгенерировал эксплойт, схожий с уже опубликованным PoC, и бонусом попытался опробовать его на себе — к удивлению собеседника, который об этом не просил.

Расшифровка ввода в шестнадцатеричном формате помогла рассеять внимание LLM, которые и без того не видят леса за деревьями: прилежно анализируют каждую реплику, забывая, что в сумме они могут вызвать неприемлемый вывод.

Ту же тактику джейлбрейка ИИ Фигероа опробовал на LLM другого производителя, Anthropic. Оказалось, что они лучше защищены, так как используют фильтрацию и ввода, и вывода; заставить их дать вредный совет, по словам исследователя, в 10 раз труднее.

Базис купил 70% Proto и сэкономил полтора года разработки

Российский разработчик инфраструктурного ПО «Базис» приобрёл 70% компании Proto, создающей платформу наблюдаемости и аналитики операционных данных. Сумма сделки не раскрывается. Покупку оформили через вложение средств в капитал Proto, деньги направят на развитие продукта и его интеграцию в экосистему нового владельца.

Proto станет дочерней компанией «Базиса», но сохранит команду и продолжит развивать Proto Observability Platform.

Решение планируют встроить во флагманскую платформу Basis Dynamix, чтобы она могла не только показывать, что инфраструктура уже легла, но и заранее предупреждать, где готовится следующий неприятный сюрприз.

ИИ-функции Proto будут использоваться для предиктивной аналитики состояния ИТ-систем и прогнозирования инцидентов. Заказчикам, которые не работают с продуктами «Базиса», предложат отдельную конфигурацию платформы.

В компании рассчитывают, что совокупная выручка от технологий Proto в составе её экосистемы составит не менее 1 млрд рублей в 2026-2031 годах. По словам гендиректора «Базиса» Давида Мартиросова, приобретение готового разработчика сократило сроки появления observability-решений в продуктовой линейке примерно на полтора года по сравнению с разработкой с нуля.

Proto вошла в тройку ключевых российских поставщиков платформ наблюдаемости по итогам исследования «Технологий Доверия» за 2025 год. Сам отечественный рынок таких решений разные источники оценивают в 3-15 млрд рублей, а его ежегодный рост — примерно в 24%.

RSS: Новости на портале Anti-Malware.ru