ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

Исследователь из Mozilla изобрел новый способ обхода контент-фильтров больших языковых моделей (БЯМ, LLM), применяемых во избежание злоупотреблений. Он разбил ввод на блоки, а вредоносную инструкцию представил в шестнадцатеричной кодировке.

В качестве объекта для атаки Марко Фигероа (Marco Figueroa) избрал GPT-4o, новейший и самый мощный чат-бот производства OpenAI. Его ИИ-модель анализирует пользовательский ввод, выискивая запрещенные слова, признаки злого умысла в инструкциях и т. п.

Подобные ограничения LLM можно обойти, изменив формулировки, однако это потребует креатива. Руководитель проектов bug bounty Mozilla по генеративному ИИ пошел более простым путем.

Используя нестандартный формат — шестнадцатеричный, Фигероа попросил GPT-4o изучить имеющуюся в интернете информацию об уязвимости CVE-2024-41110 (в Docker) и написать для нее эксплойт. Подробные инструкции по расшифровке вводились на естественном языке, а слово «exploit», способное вызвать негативную реакцию, было набрано как «3xploit».

 

Команда «еще раз прочесть все задание» была призвана повлиять на интерпретацию запроса с тем, чтобы получить более обстоятельный ответ. В итоге ИИ-бот сгенерировал эксплойт, схожий с уже опубликованным PoC, и бонусом попытался опробовать его на себе — к удивлению собеседника, который об этом не просил.

Расшифровка ввода в шестнадцатеричном формате помогла рассеять внимание LLM, которые и без того не видят леса за деревьями: прилежно анализируют каждую реплику, забывая, что в сумме они могут вызвать неприемлемый вывод.

Ту же тактику джейлбрейка ИИ Фигероа опробовал на LLM другого производителя, Anthropic. Оказалось, что они лучше защищены, так как используют фильтрацию и ввода, и вывода; заставить их дать вредный совет, по словам исследователя, в 10 раз труднее.

Миллионы пользователей браузеров стали жертвами расширений-шпионов

Исследователи из Koi Security рассказали о масштабной кампании с использованием расширений для браузеров, за которой, по их оценке, стоит китайская кибергруппа. Новая операция получила название DarkSpectre и затронула около 2,2 млн пользователей Chrome, Edge и Firefox.

Если учитывать более ранние кампании той же группы — ShadyPanda и GhostPoster, — общее число пострадавших превышает 8,8 млн человек за последние семь лет.

Ранее Koi уже связывала DarkSpectre с ShadyPanda — серией расширений, маскировавшихся под полезные инструменты и занимавшихся кражей данных, подменой поисковых запросов и мошенничеством. Тогда речь шла о 5,6 млн пользователей, включая более 100 расширений, часть из которых «просыпалась» только спустя годы после публикации.

Одно из таких расширений для Edge, например, активировало скрытую логику лишь через три дня после установки — очевидно, чтобы спокойно пройти модерацию в магазине. При этом исследователи обнаружили десятки так называемых «спящих» аддонов: сейчас они ведут себя безобидно, набирают аудиторию и положительные отзывы, но могут получить опасные функции с очередным обновлением.

Вторая кампания, GhostPoster, была в основном нацелена на пользователей Firefox. Под видом утилит и VPN-расширений они внедряли JavaScript-код для подмены партнёрских ссылок, трекинга и рекламных махинаций. Среди находок есть даже расширение «Google Translate» для Opera, набравшее практически миллион установок.

Самая свежая и, пожалуй, самая тревожная часть истории — так называемый Zoom Stealer. Это набор из 18 расширений для Chrome, Edge и Firefox, замаскированных под инструменты для Zoom, Google Meet и GoToWebinar. Их задача — собирать корпоративную информацию: ссылки на встречи (включая пароли), ID конференций, темы, описания, расписание и статус регистрации. Данные передаются в реальном времени через WebSocket-соединения.

Причём на этом сбор не заканчивается. Расширения вытягивают сведения о спикерах и организаторах вебинаров — имена, должности, биографии, фотографии, названия компаний, логотипы и рекламные материалы. Всё это происходит каждый раз, когда пользователь просто заходит на страницу регистрации мероприятия.

По словам исследователей, эти дополнения запрашивают доступ сразу к 28 платформам видеосвязи, включая Zoom, Microsoft Teams, Cisco WebEx и Google Meet — даже если расширению такой доступ вообще не нужен.

 

«Это не потребительское мошенничество, а инфраструктура корпоративного шпионажа, — подчёркивают специалисты Koi Security. — Пользователи действительно получали обещанную функциональность, доверяли расширениям и ставили им высокие оценки. А наблюдение шло тихо и незаметно».

Собранные данные могут использоваться для шпионажа, сложных схем социальной инженерии и масштабных операций по подмене личности. Связь кампаний с Китаем исследователи подтверждают сразу несколькими признаками: использованием серверов Alibaba Cloud, регистрациями в китайских провинциях, фрагментами кода с китайскими комментариями и мошенническими схемами, ориентированными на JD.com и Taobao.

В Koi Security считают, что это далеко не конец истории. По их словам, у DarkSpectre могут уже быть новые расширения, которые пока выглядят полностью легитимными — они «копят доверие» и просто ждут своего часа.

RSS: Новости на портале Anti-Malware.ru