Файлы README научились обманывать ИИ-агентов и утягивать данные

Файлы README научились обманывать ИИ-агентов и утягивать данные

Файлы README научились обманывать ИИ-агентов и утягивать данные

Исследователи обратили внимание на риски, связанные с ИИ-агентами: оказалось, что даже обычный README-файл в репозитории может стать точкой атаки. Если спрятать в нём вредоносную инструкцию, агент, который помогает разработчику развернуть проект, установить зависимости и запустить команды, может послушно выполнить лишнее действие — например, отправить данные на внешний сервер.

Речь в исследовании (PDF) идёт о так называемой семантической инъекции. Суть в том, что в документацию добавляют шаг, который выглядит как нормальная часть установки: синхронизация файлов, загрузка конфигурации, отправка логов или ещё что-то в таком духе.

Для человека это может выглядеть вполне буднично, а вот ИИ-агент нередко воспринимает такой текст как прямую инструкцию. В результате вместе с «настройкой проекта» он может утянуть наружу локальные файлы, конфиги или другие данные.

Для проверки этой идеи исследователи собрали набор ReadSecBench — 500 файлов README из опенсорс-репозиториев на Java, Python, C, C++ и JavaScript, в которые добавили вредоносные вставки.

После этого они смотрели, как разные ИИ-агенты будут следовать такой документации при настройке проекта. В ряде сценариев скрытые инструкции срабатывали в 85% случаев.

 

Особенно показательно, что многое зависело от формулировки. Если вредоносная команда была написана в лоб, как обычное указание, атака проходила примерно в 84% тестов. А если спрятанная инструкция находилась не прямо в основном README, а, например, через пару переходов по ссылкам внутри документации, успешность вообще доходила примерно до 91%.

Ещё один неприятный момент: люди тоже далеко не всегда замечают подвох. В рамках эксперимента 15 участников вручную просматривали файлы README и пытались отметить что-то подозрительное. Никто из них не смог точно выявить вредоносные инструкции. Более чем в половине случаев рецензенты вообще не оставили замечаний о странном содержимом, а ещё 40% комментариев сводились к стилистике и формулировкам, а не к реальной угрозе.

Автоматические системы защиты тоже показали неидеальный результат. Сканеры часто ругались на обычные README-файлы, потому что документация и так полна команд, путей и кусков кода. Модели-классификаторы давали меньше ложных срабатываний, но всё равно пропускали часть вредоносных инструкций, особенно если те были вынесены в связанные файлы, а не лежали прямо в основном README.

Киберпротект отметил 10-летие на партнёрском Кибер Форуме

Компания «Киберпротект» провела IV ежегодную партнёрскую конференцию «Кибер Форум». В этом году мероприятие получилось особенным: разработчик решений для резервного копирования и защиты данных отмечает десятилетие со дня основания. Площадкой для встречи стал Дом Союзов в центре Москвы — историческое здание на Большой Дмитровке, которое за несколько веков успело стать свидетелем множества значимых событий.

Именно здесь собрались партнёры, дистрибьюторы, представители ИТ-компаний, отраслевых организаций и СМИ.

Открывая форум, генеральный директор «Киберпротекта» Алексей Бадаев поблагодарил партнёров за многолетнее сотрудничество и отметил, что многие инициативы, которые когда-то начинались как совместные идеи, со временем превратились в масштабные проекты.

Деловая часть мероприятия была посвящена обсуждению текущей ситуации на рынке, развитию технологий защиты данных и дальнейшему взаимодействию участников экосистемы компании. Отдельное внимание уделили вопросам киберустойчивости и роли партнёрских программ в развитии отечественных ИТ-решений.

Одним из ключевых событий вечера стало вручение премии «Кибер Герой», учреждённой компанией для партнёров и дистрибьюторов. Награды получили 16 компаний в пяти номинациях. Среди лауреатов — Yandex Cloud, VK Tech, «Инфосистемы Джет», «Софтлайн Решения» и другие участники рынка.

Сегодня партнёрская сеть «Киберпротекта» объединяет более 2000 компаний в России и Беларуси. В неё входят системные интеграторы, дистрибьюторы и технологические партнёры, которые участвуют во внедрении решений для резервного копирования и защиты данных в организациях различных отраслей.

По словам директора департамента информационной безопасности и программного обеспечения OCS Ольги Скуловой, сотрудничество между компаниями продолжается уже много лет, а развитие совместных проектов остаётся важной частью работы по обеспечению киберустойчивости российских заказчиков.

Завершился форум неформальным общением участников, которые смогли обсудить итоги года и планы на будущее уже вне рамок деловой программы.

RSS: Новости на портале Anti-Malware.ru