Новый вредоносный ИИ-инструмент DarkBERT будет обучаться на всём дарквебе

Новый вредоносный ИИ-инструмент DarkBERT будет обучаться на всём дарквебе

Новый вредоносный ИИ-инструмент DarkBERT будет обучаться на всём дарквебе

Разработчик FraudGPT, чат-бота для киберпреступников, готовит ещё более сложный ИИ-инструмент такого же принципа работы — DarkBERT. Основной «фишкой» DarkBERT будет обучение на всех площадках дарквеба.

Как и его собратья (WormGPT и FraudGPT), новый инструмент взял за основу Google Bard. В этот раз разработчик решил реализовать интеграцию с технологией распознавания изображений — Google Lens.

Известно, что за созданием чат-ботов для злоумышленников стоит человек с ником «CanadianKingpin12». Помимо DarkBERT, специалист работает ещё над одной похожей тулзой — DarkBART.

Исследователи из SlashNext предупреждают в блоге об опасности таких инструментов: они понижают порог вхождения для начинающих киберпреступников. В результате малоквалифицированные «хакеры» могут составлять качественные фишинговые письма, которые будут использоваться в целевых атаках.

«На самом деле мы наблюдаем стремительный прогресс — от WormGPT к FraudGPT, а теперь и к DarkBERT — всего лишь за месяц работы девелопера этих инструментов», — отмечают в SlashNext.

Что касается функциональности, DarkBERT будет представлять собой вредоносную версию Google Bard и задействовать большую языковую модель (БЯМ).

Интересно, что CanadianKingpin12 поделился с исследователями в Telegram видео, на котором демонстрируется обучение DarkBERT на ресурсах дарквеба. Интеграция с Google Lens позволит использовать не только текст, но и изображения, что выгодно отличает его от основанных на ChatGPT инструментах.

ИИ-браузеры обманули игрой и заставили сливать логины пользователей

Оказывается, современный ИИ можно взломать не только сложным промптом, но и головоломкой. Исследователи из компании LayerX представили технику BioShocking, которая заставляет ИИ-браузеры добровольно воровать данные пользователя. Под удар попали сразу несколько популярных решений, включая ChatGPT Atlas, Perplexity Comet и браузерное расширение Claude от Anthropic.

Суть атаки строится вокруг так называемой косвенной инъекции в промпт. Пользователю достаточно открыть специально подготовленную веб-страницу.

Для человека это обычная игра с абсурдными правилами вроде «2 + 2 = 5». А вот ИИ воспринимает встроенные в страницу инструкции как часть задания и постепенно начинает следовать логике злоумышленника.

Финал игры выглядит так: агенту предлагают получить учётные данные пользователя и передать их атакующему. Во время эксперимента ни один из шести протестированных ИИ не распознал это как опасное действие.

 

В демонстрации LayerX агент самостоятельно открыл рабочий репозиторий GitHub пользователя, получил учётные данные SSH и отправил их злоумышленнику. Исследователи использовали безвредный текстовый файл, однако отмечают, что аналогичным способом можно добраться до открытых вкладок браузера, корпоративных сервисов, внутренних инструментов и других ресурсов.

Самое опасное здесь не сама головоломка, а возможности ИИ в режиме агента. Такие браузеры умеют нажимать кнопки, переходить по ссылкам, читать содержимое сайтов и выполнять действия от имени пользователя. Если агент уже имеет доступ к аккаунтам, вредоносная страница может превратить его в помощника злоумышленника.

 

По данным LayerX, реакция разработчиков оказалась неодинаковой. OpenAI устранила проблему в ChatGPT Atlas. Perplexity, как утверждают исследователи, закрыла отчёт без патча. Anthropic выпустила обновление для расширения Claude, но, по мнению LayerX, оно не решило проблему полностью.

Эксперты считают, что ИИ-браузеры должны запрашивать явное разрешение перед доступом к данным из сервисов. А пользователям советуют не держать агентный режим включённым без необходимости.

RSS: Новости на портале Anti-Malware.ru