Файлы README научились обманывать ИИ-агентов и утягивать данные

Файлы README научились обманывать ИИ-агентов и утягивать данные

Файлы README научились обманывать ИИ-агентов и утягивать данные

Исследователи обратили внимание на риски, связанные с ИИ-агентами: оказалось, что даже обычный README-файл в репозитории может стать точкой атаки. Если спрятать в нём вредоносную инструкцию, агент, который помогает разработчику развернуть проект, установить зависимости и запустить команды, может послушно выполнить лишнее действие — например, отправить данные на внешний сервер.

Речь в исследовании (PDF) идёт о так называемой семантической инъекции. Суть в том, что в документацию добавляют шаг, который выглядит как нормальная часть установки: синхронизация файлов, загрузка конфигурации, отправка логов или ещё что-то в таком духе.

Для человека это может выглядеть вполне буднично, а вот ИИ-агент нередко воспринимает такой текст как прямую инструкцию. В результате вместе с «настройкой проекта» он может утянуть наружу локальные файлы, конфиги или другие данные.

Для проверки этой идеи исследователи собрали набор ReadSecBench — 500 файлов README из опенсорс-репозиториев на Java, Python, C, C++ и JavaScript, в которые добавили вредоносные вставки.

После этого они смотрели, как разные ИИ-агенты будут следовать такой документации при настройке проекта. В ряде сценариев скрытые инструкции срабатывали в 85% случаев.

 

Особенно показательно, что многое зависело от формулировки. Если вредоносная команда была написана в лоб, как обычное указание, атака проходила примерно в 84% тестов. А если спрятанная инструкция находилась не прямо в основном README, а, например, через пару переходов по ссылкам внутри документации, успешность вообще доходила примерно до 91%.

Ещё один неприятный момент: люди тоже далеко не всегда замечают подвох. В рамках эксперимента 15 участников вручную просматривали файлы README и пытались отметить что-то подозрительное. Никто из них не смог точно выявить вредоносные инструкции. Более чем в половине случаев рецензенты вообще не оставили замечаний о странном содержимом, а ещё 40% комментариев сводились к стилистике и формулировкам, а не к реальной угрозе.

Автоматические системы защиты тоже показали неидеальный результат. Сканеры часто ругались на обычные README-файлы, потому что документация и так полна команд, путей и кусков кода. Модели-классификаторы давали меньше ложных срабатываний, но всё равно пропускали часть вредоносных инструкций, особенно если те были вынесены в связанные файлы, а не лежали прямо в основном README.

Мошенники используют атаки БПЛА для продвижения фейковых телеграм-каналов

На фоне массовой атаки БПЛА на Москву и Московскую область 17 мая специалисты «Эфшесть/F6» зафиксировали распространение ссылок на сомнительные телеграм-каналы с якобы оповещениями об атаках. Ссылки кидают в открытые домовые и районные чаты от лица соседей, которые просто делятся полезным каналом.

Но, по данным «Эфшесть/F6», многие такие «соседи» — фейковые аккаунты. Злоумышленники заранее заходят в открытые чаты по доступным ссылкам-приглашениям, сидят там в спящем режиме, обрастают аватарками и фотографиями, а в нужный момент начинают раздавать ссылки. Иногда используются и угнанные учётные записи.

Каналы маскируются под сервисы оповещения: в названиях встречаются слова «Радар» и «Москва», на аватарках могут использоваться элементы официальной символики столицы. Выглядит тревожно и срочно — ровно так, как нужно, чтобы человек на нервах нажал куда не надо.

Проблема в том, что такие каналы могут использоваться не только для распространения неподтверждённой информации, но и для угона аккаунтов, мошенничества и доставки фишинговых ссылок. В одном из каналов, изученных «Эфшесть/F6», каждое сообщение сопровождалось предложением воспользоваться телеграм-ботом с названием «Обход белых списков». Формулировку потом могут поменять, но схема от этого добрее не станет.

При обращении бот предлагает средство обхода блокировок и просит внести небольшой разовый платёж. Ранее «Эфшесть/F6» уже выявляла похожие схемы с платежом всего 1 рубль, где реальной целью был не рубль, а данные банковской карты и деньги на счёте.

Есть и отдельный риск с самими ботами. Подключаясь к телеграм-боту, пользователь передаёт владельцу бота данные о своём аккаунте. А потом такой уже знакомый бот может прислать фишинговую ссылку или вредоносный файл. Сначала вас заманивают тревожными оповещениями, потом предлагают полезный инструмент, а дальше всё по классике.

Во второй половине 17 мая эксперты также обнаружили синхронные публикации сообщений об угрозах новых атак в нескольких телеграм-каналах со словами «Радар» и «Москва» в названии. Такие сообщения размещались без пояснений и комментариев, а аудитория отдельных каналов, по данным «Эфшесть/F6», заявлена от 4 тыс. до 300 тыс. подписчиков.

«Эфшесть/F6» рекомендует не подписываться на каналы с оповещениями по ссылкам из непроверенных источников. А модераторам домовых, районных и других территориальных чатов стоит отключить добавление пользователей по общедоступным ссылкам-приглашениям.

RSS: Новости на портале Anti-Malware.ru