У OpenAl украли внутреннюю переписку об ИИ-технологиях

У OpenAl украли внутреннюю переписку об ИИ-технологиях

У OpenAl украли внутреннюю переписку об ИИ-технологиях

В начале 2023 года неизвестные злоумышленники взломали внутренние системы обмена сообщениями OpenAl и получили доступ к переписке об ИИ-технологиях. Поскольку данные клиентов компании не пострадали, предавать огласке инцидент не стали.

Как стало известно The New York Times, взломщики лишь могли узнать какие-то детали проектов, которые сотрудники в рабочем порядке обсуждали на онлайн-форуме. Добраться до хранилищ кодов и платформ разработки непрошеным гостям не удалось.

Украсть какую-либо информацию о клиентах и партнерах компании авторы атаки тоже не смогли, и потому было решено не разглашать факт атаки. Руководство лишь поставило в известность персонал и совет директоров.

Топ-менеджеры сочли, что автор атаки — частное лицо, в действиях которого не просматриваются связи с каким-либо иностранным правительством. Заключив, что киберинцидент не составляет угрозу национальной безопасности, разработчик ChatGPT не стал информировать о нем правоохранительные органы.

Практика показывает, что ИИ может принести не только пользу, но и вред — зависит от того, в каких руках окажутся столь мощные инструменты. По этой причине некоторые профильные разработчики, в том числе OpenAl, начали закрывать доступ к своим технологическим операциям и ужесточать контроль, чтобы снизить риск утечки.

ИИ-браузеры обманули игрой и заставили сливать логины пользователей

Оказывается, современный ИИ можно взломать не только сложным промптом, но и головоломкой. Исследователи из компании LayerX представили технику BioShocking, которая заставляет ИИ-браузеры добровольно воровать данные пользователя. Под удар попали сразу несколько популярных решений, включая ChatGPT Atlas, Perplexity Comet и браузерное расширение Claude от Anthropic.

Суть атаки строится вокруг так называемой косвенной инъекции в промпт. Пользователю достаточно открыть специально подготовленную веб-страницу.

Для человека это обычная игра с абсурдными правилами вроде «2 + 2 = 5». А вот ИИ воспринимает встроенные в страницу инструкции как часть задания и постепенно начинает следовать логике злоумышленника.

Финал игры выглядит так: агенту предлагают получить учётные данные пользователя и передать их атакующему. Во время эксперимента ни один из шести протестированных ИИ не распознал это как опасное действие.

 

В демонстрации LayerX агент самостоятельно открыл рабочий репозиторий GitHub пользователя, получил учётные данные SSH и отправил их злоумышленнику. Исследователи использовали безвредный текстовый файл, однако отмечают, что аналогичным способом можно добраться до открытых вкладок браузера, корпоративных сервисов, внутренних инструментов и других ресурсов.

Самое опасное здесь не сама головоломка, а возможности ИИ в режиме агента. Такие браузеры умеют нажимать кнопки, переходить по ссылкам, читать содержимое сайтов и выполнять действия от имени пользователя. Если агент уже имеет доступ к аккаунтам, вредоносная страница может превратить его в помощника злоумышленника.

 

По данным LayerX, реакция разработчиков оказалась неодинаковой. OpenAI устранила проблему в ChatGPT Atlas. Perplexity, как утверждают исследователи, закрыла отчёт без патча. Anthropic выпустила обновление для расширения Claude, но, по мнению LayerX, оно не решило проблему полностью.

Эксперты считают, что ИИ-браузеры должны запрашивать явное разрешение перед доступом к данным из сервисов. А пользователям советуют не держать агентный режим включённым без необходимости.

RSS: Новости на портале Anti-Malware.ru