Атака Trojan Puzzle заставляет ИИ-помощника предлагать ненадежный код

Атака Trojan Puzzle заставляет ИИ-помощника предлагать ненадежный код

Атака Trojan Puzzle заставляет ИИ-помощника предлагать ненадежный код

Команда исследователей из Microsoft и двух американских университетов разработала новый способ отравления данных для ИИ-моделей, призванных ускорить работу программиста. Атака Trojan Puzzle способна обеспечить не только успешное внедрение потенциально опасного кода, но также обход средств статического и сигнатурного анализа, используемых для очистки проектов от уязвимостей.

Нейросетевые помощники программиста вроде Copilot от GitHub и ChatGPT разработки OpenAI работают как системы автозавершения кода, предлагая новые строки и функции с учетом смыслового контекста создаваемого софта. Для обучения таких ассистентов используются образцы кода, доступные в публичных репозиториях.

Поскольку загрузки в подобных источниках редко проверяются должным образом, злоумышленник имеет возможность провести атаку на ИИ-помощника по методу отравления данных — внедрить уязвимый или вредоносный код в обучающие наборы данных и тот будет воспроизведен в предложениях программисту.

Прежние исследования, посвященные подобным атакам, полагались (PDF) в основном на прямое внесение потенциально опасной полезной нагрузки в предназначенные для тренинга данные. В этом случае статический анализатор с легкостью обнаружит и удалит ненадежный код.

Для обхода таких инструментов можно спрятать вредоносный пейлоад в строках документации (докстрингах) и использовать фразу-триггер для активации — анализаторы игнорируют заключенные в тройные кавычки докстринги, а ИИ-модель воспринимает их как обучающие данные и воспроизводит пейлоад в своих подсказках.

В этом случае положение спасет сигнатурный анализ, однако новое исследование показало, что такой фильтр тоже небезупречен. Атака Trojan Puzzle (PDF) способна преодолеть и этот барьер, так как позволяет скрыть вредоносный пейлоад более надежным образом.

С этой целью исследователи использовали особые маркеры (template token, токены шаблона) и фразу-триггер, активирующую полезную нагрузку. Были также созданы три «плохих» образца кода, заменяющие токен произвольным словом (shift, (__pyx_t_float_, befo на рисунке ниже). Слово затем добавляется к заглушке в триггере, и в ходе обучения ИИ-модель привыкает ассоциировать такой участок с маскированной областью пейлоада.

 

При парсинге триггера полезная нагрузка будет воспроизведена даже в том случае, когда слово-заместитель не использовалось в ходе тренинга (например, render). Умный помощник автоматически заменит его уже знакомым токеном; если заполнитель содержит скрытую часть пейлоада, при генерации предложения вредоносный код воспроизведется целиком.

 

Для испытаний из 18 310 репозиториев было собрано 5,88 Гбайт Python-кода в качестве набора данных для обучения. Были также подготовлены вредоносные файлы для вброса с таким пейлоадом, как XSS, path traversal и десериализация недоверенных данных — их внедряли по 160 на каждые 80 тыс. файлов исходного кода, используя прямую инъекцию, докстринги и Trojan Puzzle.

После цикла тренинга доля вредоносных предложений от ИИ составила 30, 19 и 4% соответственно, однако результаты Trojan Puzzle оказалось возможным улучшить до 21% троекратным повторением обучения.

Российские банки все чаще блокируют карты за переводы себе

Российские банки всё чаще замораживают карты клиентов из-за переводов самому себе. В ряде случаев речь идёт лишь о блокировке конкретных операций, но нередко банки ограничивают доступ ко всему счёту. Даже после подтверждения транзакций восстановление доступа происходит не сразу. Как отметил начальник аналитического отдела инвесткомпании «Риком-Траст» Олег Абелев, риск получить крупный штраф или даже лишиться лицензии для банков оказывается важнее риска потерять клиента.

Опрошенные «Известиями» юристы и финансовые эксперты связывают такую практику с тем, что кредитные организации всё чаще перестраховываются, опасаясь серьёзных санкций со стороны регуляторов — Росфинмониторинга и Банка России.

При этом, как отметил управляющий партнёр юридической компании «Провъ» Александр Киселев, под блокировки попадают не только крупные суммы, но и совсем небольшие переводы. На профильных форумах пользователи приводят примеры блокировки карт после перевода всего 150 рублей. Количество подобных случаев, по их словам, продолжает расти.

«Жалобы клиентов на блокировки карт после переводов самому себе сегодня уже не редкость. Рынок захлестнула волна мошенничества, и регулятор требует от банков действовать на опережение. Однако на практике под заморозку всё чаще попадают добросовестные клиенты. В ряде случаев такие меры выглядят чрезмерными и плохо соразмерными реальным рискам», — рассказал директор по стратегии ИК «Финам» Ярослав Кабаков.

«Известия» также привели несколько реальных примеров с форума «Банки.ру». Так, клиент одного из крупнейших банков пытался перевести зарплату на карту другого банка и смог сделать это лишь со второй попытки — после подтверждения по телефону. Через несколько дней при попытке перевести отпускные банк ввёл ограничения, снять которые удалось только при личном визите в офис.

Другой клиент того же банка столкнулся с блокировкой карты при выводе средств с закрытого счёта. Карту разблокировали после звонка на горячую линию, однако уже через неделю её снова заблокировали. Полностью восстановить доступ удалось лишь с пятой попытки. В банке такие действия объяснили «стандартными мерами предосторожности».

В ответ на запрос издания в Банке России напомнили, что кредитные организации обязаны проверять операции клиентов на предмет возможного мошенничества. При этом, сославшись на закон «О национальной платёжной системе», регулятор подчеркнул: банки вправе приостанавливать конкретные операции, но не блокировать счета или карты целиком. Если клиент повторно проводит операцию или подтверждает перевод, банк обязан его исполнить.

Однако в ЦБ также напомнили, что с 1 января перечень подозрительных операций будет расширен. В него, в частности, войдут переводы самому себе через Систему быстрых платежей при определённых условиях — например, если перевод осуществляется человеку, с которым не было операций в течение последних шести месяцев, а менее чем за сутки до этого клиент перевёл самому себе сумму от 200 тыс. рублей. Эти меры были анонсированы ещё в ноябре.

Чтобы снизить риск блокировок, Александр Киселев рекомендует придерживаться привычного финансового поведения: указывать назначение платежа в комментариях, использовать только проверенные устройства и по возможности разделять карты для личных операций и бизнеса.

RSS: Новости на портале Anti-Malware.ru