Атака Trojan Puzzle заставляет ИИ-помощника предлагать ненадежный код

Атака Trojan Puzzle заставляет ИИ-помощника предлагать ненадежный код

Атака Trojan Puzzle заставляет ИИ-помощника предлагать ненадежный код

Команда исследователей из Microsoft и двух американских университетов разработала новый способ отравления данных для ИИ-моделей, призванных ускорить работу программиста. Атака Trojan Puzzle способна обеспечить не только успешное внедрение потенциально опасного кода, но также обход средств статического и сигнатурного анализа, используемых для очистки проектов от уязвимостей.

Нейросетевые помощники программиста вроде Copilot от GitHub и ChatGPT разработки OpenAI работают как системы автозавершения кода, предлагая новые строки и функции с учетом смыслового контекста создаваемого софта. Для обучения таких ассистентов используются образцы кода, доступные в публичных репозиториях.

Поскольку загрузки в подобных источниках редко проверяются должным образом, злоумышленник имеет возможность провести атаку на ИИ-помощника по методу отравления данных — внедрить уязвимый или вредоносный код в обучающие наборы данных и тот будет воспроизведен в предложениях программисту.

Прежние исследования, посвященные подобным атакам, полагались (PDF) в основном на прямое внесение потенциально опасной полезной нагрузки в предназначенные для тренинга данные. В этом случае статический анализатор с легкостью обнаружит и удалит ненадежный код.

Для обхода таких инструментов можно спрятать вредоносный пейлоад в строках документации (докстрингах) и использовать фразу-триггер для активации — анализаторы игнорируют заключенные в тройные кавычки докстринги, а ИИ-модель воспринимает их как обучающие данные и воспроизводит пейлоад в своих подсказках.

В этом случае положение спасет сигнатурный анализ, однако новое исследование показало, что такой фильтр тоже небезупречен. Атака Trojan Puzzle (PDF) способна преодолеть и этот барьер, так как позволяет скрыть вредоносный пейлоад более надежным образом.

С этой целью исследователи использовали особые маркеры (template token, токены шаблона) и фразу-триггер, активирующую полезную нагрузку. Были также созданы три «плохих» образца кода, заменяющие токен произвольным словом (shift, (__pyx_t_float_, befo на рисунке ниже). Слово затем добавляется к заглушке в триггере, и в ходе обучения ИИ-модель привыкает ассоциировать такой участок с маскированной областью пейлоада.

 

При парсинге триггера полезная нагрузка будет воспроизведена даже в том случае, когда слово-заместитель не использовалось в ходе тренинга (например, render). Умный помощник автоматически заменит его уже знакомым токеном; если заполнитель содержит скрытую часть пейлоада, при генерации предложения вредоносный код воспроизведется целиком.

 

Для испытаний из 18 310 репозиториев было собрано 5,88 Гбайт Python-кода в качестве набора данных для обучения. Были также подготовлены вредоносные файлы для вброса с таким пейлоадом, как XSS, path traversal и десериализация недоверенных данных — их внедряли по 160 на каждые 80 тыс. файлов исходного кода, используя прямую инъекцию, докстринги и Trojan Puzzle.

После цикла тренинга доля вредоносных предложений от ИИ составила 30, 19 и 4% соответственно, однако результаты Trojan Puzzle оказалось возможным улучшить до 21% троекратным повторением обучения.

Сбои GPS всё чаще угрожают полётам и работе критических систем

В Норвегии пассажирский самолёт не смог сесть из-за помех GPS — и это лишь один из всё более частых примеров того, насколько уязвимой стала глобальная навигация. Эксперты предупреждают: сбои и подмена GPS-сигналов перестали быть редкостью и всё чаще затрагивают не только военных, но и обычных людей.

Инцидент произошёл осенью 2025 года на севере Норвегии. Самолёт авиакомпании Widerøe заходил на посадку в городе Вардё — всего в 60 километрах от российской границы.

Погода была сложной: низкая облачность, плохая видимость. В таких условиях пилоты полагаются на GPS, но в этот раз навигация просто «ослепла». В эфире возникли помехи, из-за которых самолёт не смог получить координаты и был вынужден уйти на запасной аэродром.

По данным европейских чиновников, сбой совпал с российскими военными учениями «Запад-2025», проходившими буквально по соседству. В Норвегии считают, что речь идёт о преднамеренном подавлении GPS-сигналов — технологии, которую активно используют и в реальных конфликтах. В Москве подобные обвинения ранее отрицали.

Регион Финнмарк, где произошёл инцидент, давно живёт в условиях почти постоянных GPS-сбоев. С началом СВО таких случаев стало заметно больше. И речь идёт не только об авиации: помехи затрагивают полицейские машины, скорые, суда, сельхозтехнику и даже спасательные маяки.

При этом Норвегия — далеко не единственная «горячая точка». Подмена и подавление GPS фиксируются над Чёрным морем, в Мьянме, на юге США и в других регионах. По данным авиационного сообщества OpsGroup, если в начале 2024 года GPS-спуфинг затрагивал около 300 рейсов в день, то к августу — уже до 1 500. Всего за месяц летом 2024 года с подменой координат столкнулись более 41 тысячи рейсов.

 

Технология GPS выглядит надёжной, но у неё есть слабое место: сигнал со спутника очень слабый, и его легко заглушить более мощным передатчиком с земли. А ещё сигнал можно подделать — отправить «фальшивый GPS», который укажет неправильное время или координаты.

Раньше этим занимались в основном военные. Но оборудование подешевело, и теперь глушилки и спуферы доступны куда более широкому кругу людей — от контрабандистов до любителей «читов» в Pokémon GO. Эксперты отмечают, что именно массовые игры с дополненной реальностью в своё время подстегнули развитие гражданского GPS-спуфинга.

GPS — это не только карты и навигаторы. Он лежит в основе работы электросетей, мобильной связи, банковских операций, логистики, сельского хозяйства и промышленной робототехники. Даже простые вещи вроде автоматического включения уличного освещения или подбора «людей рядом» в приложениях знакомств завязаны на точное время и координаты.

Потеря GPS — это не неудобство, а системный риск для всей цифровой инфраструктуры.

Понимая масштаб угрозы, власти США и других стран активно ищут альтернативы и «страховки» для GPS. В модернизацию самой системы уже вложили более $22 млрд, а военный бюджет США на 2025 год дополнительно предусматривает $1,5 млрд на более устойчивые навигационные технологии.

Параллельно развиваются альтернативные решения. Одни компании запускают низкоорбитальные спутники с более мощными и зашифрованными сигналами, другие предлагают наземные системы навигации или гибридные подходы. Есть и варианты, которые можно внедрить без замены оборудования — достаточно обновить программное обеспечение.

Однако эксперты признают: единого решения пока нет. Усиление защиты идёт фрагментами, без чёткой координации между гражданскими и военными проектами. А полностью заменить GPS, по мнению специалистов, в обозримом будущем невозможно.

«GPS никуда не исчезнет, — говорят эксперты. — Но нам придётся научиться жить в мире, где ему нельзя доверять на 100%».

RSS: Новости на портале Anti-Malware.ru