Файлы README научились обманывать ИИ-агентов и утягивать данные

Файлы README научились обманывать ИИ-агентов и утягивать данные

Файлы README научились обманывать ИИ-агентов и утягивать данные

Исследователи обратили внимание на риски, связанные с ИИ-агентами: оказалось, что даже обычный README-файл в репозитории может стать точкой атаки. Если спрятать в нём вредоносную инструкцию, агент, который помогает разработчику развернуть проект, установить зависимости и запустить команды, может послушно выполнить лишнее действие — например, отправить данные на внешний сервер.

Речь в исследовании (PDF) идёт о так называемой семантической инъекции. Суть в том, что в документацию добавляют шаг, который выглядит как нормальная часть установки: синхронизация файлов, загрузка конфигурации, отправка логов или ещё что-то в таком духе.

Для человека это может выглядеть вполне буднично, а вот ИИ-агент нередко воспринимает такой текст как прямую инструкцию. В результате вместе с «настройкой проекта» он может утянуть наружу локальные файлы, конфиги или другие данные.

Для проверки этой идеи исследователи собрали набор ReadSecBench — 500 файлов README из опенсорс-репозиториев на Java, Python, C, C++ и JavaScript, в которые добавили вредоносные вставки.

После этого они смотрели, как разные ИИ-агенты будут следовать такой документации при настройке проекта. В ряде сценариев скрытые инструкции срабатывали в 85% случаев.

 

Особенно показательно, что многое зависело от формулировки. Если вредоносная команда была написана в лоб, как обычное указание, атака проходила примерно в 84% тестов. А если спрятанная инструкция находилась не прямо в основном README, а, например, через пару переходов по ссылкам внутри документации, успешность вообще доходила примерно до 91%.

Ещё один неприятный момент: люди тоже далеко не всегда замечают подвох. В рамках эксперимента 15 участников вручную просматривали файлы README и пытались отметить что-то подозрительное. Никто из них не смог точно выявить вредоносные инструкции. Более чем в половине случаев рецензенты вообще не оставили замечаний о странном содержимом, а ещё 40% комментариев сводились к стилистике и формулировкам, а не к реальной угрозе.

Автоматические системы защиты тоже показали неидеальный результат. Сканеры часто ругались на обычные README-файлы, потому что документация и так полна команд, путей и кусков кода. Модели-классификаторы давали меньше ложных срабатываний, но всё равно пропускали часть вредоносных инструкций, особенно если те были вынесены в связанные файлы, а не лежали прямо в основном README.

Российским сайтам готовят штрафы до 700 тысяч за иностранную аутентификацию

Госдума окончательно одобрила законопроект, который вводит новые штрафы для владельцев сайтов и онлайн-сервисов. Под удар попадают площадки, которые продолжают использовать зарубежные способы аутентификации пользователей вместо предусмотренных российским законодательством механизмов. Документ принят сразу во втором и третьем чтениях.

Согласно новым нормам, сайты и сервисы должны обеспечивать аутентификацию пользователей через российский номер телефона, портал «Госуслуги», Единую биометрическую систему или другие российские информационные системы, принадлежащие гражданам или компаниям РФ.

Если ресурс продолжит использовать для входа иностранные сервисы или зарубежную электронную почту в качестве механизма аутентификации, владельцу может грозить серьёзный штраф. Для юридических лиц он составит от 500 до 700 тысяч рублей. Для должностных лиц предусмотрены штрафы от 30 до 50 тысяч рублей, для граждан — от 10 до 20 тысяч рублей.

Закон также усиливает ответственность для владельцев интернет-платформ с рекомендательными алгоритмами. Штрафы предусмотрены за сбор информации о предпочтениях пользователей с нарушением законодательства, отсутствие уведомлений о работе рекомендательных систем, а также за непубликацию правил их использования и контактных данных для юридически значимых обращений.

Размер санкций здесь такой же — до 700 тысяч рублей для юридических лиц. При повторном нарушении штрафы могут вырасти до 1,4 млн рублей.

Отдельный блок поправок касается операторов связи. Для них вводится ответственность за нарушение правил взаимодействия с правоохранительными органами во время оперативно-разыскных мероприятий и мероприятий по обеспечению безопасности.

Если оператор нарушит установленный порядок или раскроет методы проведения таких мероприятий, компании может грозить штраф от 3 до 5 млн рублей.

За повторные нарушения наказание станет ещё жёстче. В этом случае может применяться оборотный штраф в размере до 3% годовой выручки. При этом минимальный порог санкций повышается с 1 млн до 10 млн рублей.

RSS: Новости на портале Anti-Malware.ru