Атака Trojan Puzzle заставляет ИИ-помощника предлагать ненадежный код

Атака Trojan Puzzle заставляет ИИ-помощника предлагать ненадежный код

Атака Trojan Puzzle заставляет ИИ-помощника предлагать ненадежный код

Команда исследователей из Microsoft и двух американских университетов разработала новый способ отравления данных для ИИ-моделей, призванных ускорить работу программиста. Атака Trojan Puzzle способна обеспечить не только успешное внедрение потенциально опасного кода, но также обход средств статического и сигнатурного анализа, используемых для очистки проектов от уязвимостей.

Нейросетевые помощники программиста вроде Copilot от GitHub и ChatGPT разработки OpenAI работают как системы автозавершения кода, предлагая новые строки и функции с учетом смыслового контекста создаваемого софта. Для обучения таких ассистентов используются образцы кода, доступные в публичных репозиториях.

Поскольку загрузки в подобных источниках редко проверяются должным образом, злоумышленник имеет возможность провести атаку на ИИ-помощника по методу отравления данных — внедрить уязвимый или вредоносный код в обучающие наборы данных и тот будет воспроизведен в предложениях программисту.

Прежние исследования, посвященные подобным атакам, полагались (PDF) в основном на прямое внесение потенциально опасной полезной нагрузки в предназначенные для тренинга данные. В этом случае статический анализатор с легкостью обнаружит и удалит ненадежный код.

Для обхода таких инструментов можно спрятать вредоносный пейлоад в строках документации (докстрингах) и использовать фразу-триггер для активации — анализаторы игнорируют заключенные в тройные кавычки докстринги, а ИИ-модель воспринимает их как обучающие данные и воспроизводит пейлоад в своих подсказках.

В этом случае положение спасет сигнатурный анализ, однако новое исследование показало, что такой фильтр тоже небезупречен. Атака Trojan Puzzle (PDF) способна преодолеть и этот барьер, так как позволяет скрыть вредоносный пейлоад более надежным образом.

С этой целью исследователи использовали особые маркеры (template token, токены шаблона) и фразу-триггер, активирующую полезную нагрузку. Были также созданы три «плохих» образца кода, заменяющие токен произвольным словом (shift, (__pyx_t_float_, befo на рисунке ниже). Слово затем добавляется к заглушке в триггере, и в ходе обучения ИИ-модель привыкает ассоциировать такой участок с маскированной областью пейлоада.

 

При парсинге триггера полезная нагрузка будет воспроизведена даже в том случае, когда слово-заместитель не использовалось в ходе тренинга (например, render). Умный помощник автоматически заменит его уже знакомым токеном; если заполнитель содержит скрытую часть пейлоада, при генерации предложения вредоносный код воспроизведется целиком.

 

Для испытаний из 18 310 репозиториев было собрано 5,88 Гбайт Python-кода в качестве набора данных для обучения. Были также подготовлены вредоносные файлы для вброса с таким пейлоадом, как XSS, path traversal и десериализация недоверенных данных — их внедряли по 160 на каждые 80 тыс. файлов исходного кода, используя прямую инъекцию, докстринги и Trojan Puzzle.

После цикла тренинга доля вредоносных предложений от ИИ составила 30, 19 и 4% соответственно, однако результаты Trojan Puzzle оказалось возможным улучшить до 21% троекратным повторением обучения.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

F6 запустила сервис SOC MDR для проактивной защиты от кибератак

Компания F6 представила новый сервис — SOC MDR (Managed Detection and Response), ориентированный на выявление и нейтрализацию киберугроз в реальном времени. Сервис разработан в ответ на рост числа и сложности атак и позволяет не только отслеживать подозрительную активность, но и оперативно реагировать на инциденты, включая изоляцию устройств и восстановление инфраструктуры.

Уязвим внешний периметр

По оценкам специалистов F6, 9 из 10 российских компаний имеют уязвимости на внешнем периметре — именно эти зоны всё чаще становятся точками входа для атакующих.

Новый сервис делает акцент на централизованном мониторинге внешней инфраструктуры — его сложнее организовать силами только внутренней ИБ-команды.

В рамках SOC MDR F6 не просто выявляет открытые сервисы, конфигурационные ошибки и уязвимости — каждая проблема проходит отдельную проверку на предмет возможной компрометации. Это позволяет убедиться, что злоумышленники не воспользовались обнаруженными «дырами».

Реакция без задержек

Отличие SOC MDR от классических SOC-моделей — в том, что команда F6 не ограничивается мониторингом, а сама принимает решения по реагированию. В случае инцидента специалисты изолируют атакованные устройства, блокируют учётные записи и инструменты, а при необходимости проводят восстановление инфраструктуры.

Внутренняя сеть — главный фронт

Как подчёркивают в F6, основной удар при целевых атаках приходится на внутреннюю сеть. И здесь критичны не столько сами средства защиты, сколько скорость реагирования и квалификация команды. Именно в этот момент традиционные SOC часто передают задачу клиенту — тогда как SOC MDR берёт её на себя.

Поддержка киберразведкой и расследование инцидентов

SOC MDR использует данные собственной системы киберразведки F6 Threat Intelligence, чтобы оперативно отслеживать новые тактики и инструменты атакующих. При этом сервис не конфликтует с уже внедрёнными у заказчика средствами ИБ — они могут быть интегрированы в общую архитектуру.

Кроме реагирования, SOC MDR обеспечивает полное расследование инцидентов — с разбором хронологии и анализом причин. Это помогает понять, откуда началась атака и насколько глубоко удалось проникнуть злоумышленникам, чтобы предотвратить повторные инциденты в будущем.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru