Атака Trojan Puzzle заставляет ИИ-помощника предлагать ненадежный код

Атака Trojan Puzzle заставляет ИИ-помощника предлагать ненадежный код

Атака Trojan Puzzle заставляет ИИ-помощника предлагать ненадежный код

Команда исследователей из Microsoft и двух американских университетов разработала новый способ отравления данных для ИИ-моделей, призванных ускорить работу программиста. Атака Trojan Puzzle способна обеспечить не только успешное внедрение потенциально опасного кода, но также обход средств статического и сигнатурного анализа, используемых для очистки проектов от уязвимостей.

Нейросетевые помощники программиста вроде Copilot от GitHub и ChatGPT разработки OpenAI работают как системы автозавершения кода, предлагая новые строки и функции с учетом смыслового контекста создаваемого софта. Для обучения таких ассистентов используются образцы кода, доступные в публичных репозиториях.

Поскольку загрузки в подобных источниках редко проверяются должным образом, злоумышленник имеет возможность провести атаку на ИИ-помощника по методу отравления данных — внедрить уязвимый или вредоносный код в обучающие наборы данных и тот будет воспроизведен в предложениях программисту.

Прежние исследования, посвященные подобным атакам, полагались (PDF) в основном на прямое внесение потенциально опасной полезной нагрузки в предназначенные для тренинга данные. В этом случае статический анализатор с легкостью обнаружит и удалит ненадежный код.

Для обхода таких инструментов можно спрятать вредоносный пейлоад в строках документации (докстрингах) и использовать фразу-триггер для активации — анализаторы игнорируют заключенные в тройные кавычки докстринги, а ИИ-модель воспринимает их как обучающие данные и воспроизводит пейлоад в своих подсказках.

В этом случае положение спасет сигнатурный анализ, однако новое исследование показало, что такой фильтр тоже небезупречен. Атака Trojan Puzzle (PDF) способна преодолеть и этот барьер, так как позволяет скрыть вредоносный пейлоад более надежным образом.

С этой целью исследователи использовали особые маркеры (template token, токены шаблона) и фразу-триггер, активирующую полезную нагрузку. Были также созданы три «плохих» образца кода, заменяющие токен произвольным словом (shift, (__pyx_t_float_, befo на рисунке ниже). Слово затем добавляется к заглушке в триггере, и в ходе обучения ИИ-модель привыкает ассоциировать такой участок с маскированной областью пейлоада.

 

При парсинге триггера полезная нагрузка будет воспроизведена даже в том случае, когда слово-заместитель не использовалось в ходе тренинга (например, render). Умный помощник автоматически заменит его уже знакомым токеном; если заполнитель содержит скрытую часть пейлоада, при генерации предложения вредоносный код воспроизведется целиком.

 

Для испытаний из 18 310 репозиториев было собрано 5,88 Гбайт Python-кода в качестве набора данных для обучения. Были также подготовлены вредоносные файлы для вброса с таким пейлоадом, как XSS, path traversal и десериализация недоверенных данных — их внедряли по 160 на каждые 80 тыс. файлов исходного кода, используя прямую инъекцию, докстринги и Trojan Puzzle.

После цикла тренинга доля вредоносных предложений от ИИ составила 30, 19 и 4% соответственно, однако результаты Trojan Puzzle оказалось возможным улучшить до 21% троекратным повторением обучения.

Замедление Telegram привело к проблемам у мобильных разработчиков

После введения санкционных ограничений и потери доступа к сервисам Apple, Google и Microsoft Telegram фактически стал для российских разработчиков основной площадкой для тестирования приложений и распространения обновлений. На этом фоне замедление работы мессенджера обернулось серьёзными проблемами для отрасли.

Как заявили опрошенные РБК представители рынка, Telegram без преувеличения превратился в элемент критической инфраструктуры мобильной разработки. Его замедление способно вызвать сбои в процессах тестирования и выпуска новых версий приложений.

Директор по инновациям Fork-Tech Владислав Лаптев отметил, что Telegram стал одним из ключевых инструментов доставки тестовых сборок — версий приложений, которые ещё не опубликованы в официальных магазинах, но уже требуют проверки тестировщиками и другими сотрудниками. Альтернативные сервисы оказались недоступны после ухода зарубежных вендоров или из-за санкций.

Руководитель направления разработки iOS в red_mad_robot Александр Тузовский пояснил: «В мобильной разработке Telegram часто выступает как оперативный “транспорт” для команды: это тематические чаты по проектам и релизам, уведомления от CI/CD (набор принципов и практик, позволяющих чаще и надёжнее развёртывать изменения ПО), боты для сбора фидбэка от тестировщиков, а также автоматические сообщения о статусе публикаций в магазинах приложений».

Руководитель направления Android-разработки red_mad_robot Сергей Иванов среди ключевых преимуществ Telegram назвал его широкое распространение, низкий порог входа, удобный API и относительную бесплатность.

По словам Владислава Лаптева, ранее российские разработчики активно использовали Firebase App Distribution от Google и App Center от Microsoft. Однако из-за санкций — а в ряде случаев и сопутствующих ограничений со стороны Роскомнадзора — эти инструменты стали недоступны. Google ввела ограничения на оплату для россиян и начала удалять аккаунты российских пользователей. Microsoft закрыла App Center ещё в марте 2025 года, а его замена работает на инфраструктуре Azure, которая в России также недоступна.

«Сейчас разработчики рискуют во второй раз за четыре года лишиться инфраструктурного канала. Особенно остро это ощущают крупные финансовые организации, где требования к контролю качества и безопасности приложений значительно выше», — прокомментировал Владислав Лаптев.

Директор по продуктам студии разработки «Решение» Анфиса Кондрашова добавила, что ограничения Telegram могут привести к росту затрат на отдельные процессы: «Речь идёт, например, о стоимости отправки кода авторизации при регистрации пользователя. Отправка кода через Telegram обходится примерно в 5 рублей, а СМС — более чем в 40 рублей за сообщение. Экономика наших клиентов может серьёзно пострадать».

Вице-президент по операционной деятельности и информационным технологиям финансовой группы «БКС Холдинг» Сергей Путятинский отметил: «Для нашей компании это неактуально — мы используем внутренние инструменты, внедрённые несколько лет назад. Но я знаю много крупных организаций в России, которые по-прежнему задействуют Telegram в процессах мобильной разработки. Для них это создаёт существенные риски, поэтому проблема на рынке действительно существует».

В ВТБ, в свою очередь, сообщили, что используют для мобильной разработки собственный мессенджер, созданный внутри банка, поэтому ограничения в работе Telegram их не затрагивают.

О замедлении Telegram стало известно 10 февраля, однако фактически проблемы начались раньше — волна жалоб пользователей стартовала вечером 9 февраля.

RSS: Новости на портале Anti-Malware.ru