ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

Исследователь из Mozilla изобрел новый способ обхода контент-фильтров больших языковых моделей (БЯМ, LLM), применяемых во избежание злоупотреблений. Он разбил ввод на блоки, а вредоносную инструкцию представил в шестнадцатеричной кодировке.

В качестве объекта для атаки Марко Фигероа (Marco Figueroa) избрал GPT-4o, новейший и самый мощный чат-бот производства OpenAI. Его ИИ-модель анализирует пользовательский ввод, выискивая запрещенные слова, признаки злого умысла в инструкциях и т. п.

Подобные ограничения LLM можно обойти, изменив формулировки, однако это потребует креатива. Руководитель проектов bug bounty Mozilla по генеративному ИИ пошел более простым путем.

Используя нестандартный формат — шестнадцатеричный, Фигероа попросил GPT-4o изучить имеющуюся в интернете информацию об уязвимости CVE-2024-41110 (в Docker) и написать для нее эксплойт. Подробные инструкции по расшифровке вводились на естественном языке, а слово «exploit», способное вызвать негативную реакцию, было набрано как «3xploit».

 

Команда «еще раз прочесть все задание» была призвана повлиять на интерпретацию запроса с тем, чтобы получить более обстоятельный ответ. В итоге ИИ-бот сгенерировал эксплойт, схожий с уже опубликованным PoC, и бонусом попытался опробовать его на себе — к удивлению собеседника, который об этом не просил.

Расшифровка ввода в шестнадцатеричном формате помогла рассеять внимание LLM, которые и без того не видят леса за деревьями: прилежно анализируют каждую реплику, забывая, что в сумме они могут вызвать неприемлемый вывод.

Ту же тактику джейлбрейка ИИ Фигероа опробовал на LLM другого производителя, Anthropic. Оказалось, что они лучше защищены, так как используют фильтрацию и ввода, и вывода; заставить их дать вредный совет, по словам исследователя, в 10 раз труднее.

Утечка в PayPal: персональные данные были открыты почти 6 месяцев

PayPal уведомляет клиентов о новой утечке данных, на этот раз из-за программной ошибки в приложении для бизнес-кредитов PayPal Working Capital (PPWC). В течение почти шести месяцев персональные данные пользователей могли быть доступны посторонним.

По информации компании, инцидент затронул приложение PPWC, которое позволяет малому бизнесу быстро получать финансирование.

Проблему обнаружили 12 декабря 2025 года. Выяснилось, что с 1 июля по 13 декабря 2025 года из-за некорректного изменения кода часть персональных данных оказалась открыта для неаутентифицированных лиц.

Речь идёт о конфиденциальной информации: имена, адреса электронной почты, номера телефонов, адреса компаний, номера социального страхования, а также даты рождения.

В письмах пострадавшим пользователям PayPal уточняет, что после обнаружения ошибки код был оперативно отозван, а потенциальный доступ к данным заблокирован уже на следующий день. Корпорация также подчеркнула, что уведомление не откладывалось из-за каких-либо действий правоохранительных органов.

Кроме самой утечки, PayPal выявила и несанкционированные транзакции по счетам небольшой части клиентов, они напрямую связаны с этим инцидентом. Представители платёжного сервиса заявили, что пострадавшим уже оформлены возвраты средств.

В качестве компенсации пользователям предлагают два года бесплатного мониторинга кредитной истории и услуг по восстановлению личности через Equifax (по трём кредитным бюро). Подключиться к программе нужно до 30 июня 2026 года.

Клиентам также рекомендуют внимательно следить за кредитными отчётами и активностью по счетам. Отдельно PayPal напомнила, что никогда не запрашивает пароли, одноразовые коды или другие данные аутентификации по телефону, СМС или электронной почте.

Сколько именно пользователей пострадало, компания пока не раскрывает. Известно, что для всех затронутых аккаунтов были сброшены пароли — при следующем входе пользователям предложат создать новые учётные данные, если они ещё этого не сделали.

RSS: Новости на портале Anti-Malware.ru