Новый вектор ProAttack позволяет незаметно внедрять бэкдоры в LLM

Новый вектор ProAttack позволяет незаметно внедрять бэкдоры в LLM

Новый вектор ProAttack позволяет незаметно внедрять бэкдоры в LLM

Промпт-инжиниринг давно стал нормой при работе с большими языковыми моделями. Но, как выясняется, вместе с удобством он приносит и новую поверхность атаки. Исследователи представили вектор под названием ProAttack, который позволяет внедрять бэкдор в модель через промпты, причём делать это почти незаметно.

В тестах атака показывала эффективность, близкую к 100%, причём без классических красных флагов вроде странных токенов или подмены меток.

В обычных атаках на NLP-модели злоумышленники добавляют в данные подозрительные слова или фразы и меняют метки. Такие вещи уже научились отслеживать. 

ProAttack идёт другим путём. Вместо явных «триггеров» он использует разные промпты для обучающих данных:

  • для части данных (целевая категория) — вредоносный промпт;
  • для остальных — обычный, чистый.

 

При этом сами тексты выглядят нормально, а метки остаются корректными. В итоге модель учится ассоциировать конкретный промпт с нужным злоумышленнику результатом.

А дальше всё просто: на этапе использования достаточно подать вход с этим промптом, и бэкдор срабатывает.

Особенно опасно, что атака остаётся эффективной даже при небольшом количестве данных. В ряде случаев хватало буквально нескольких (около шести) «отравленных» примеров, чтобы внедрить бэкдор.

Метод протестировали на разных задачах, включая даже медицинские сценарии (например, суммаризацию радиологических отчётов). И там он тоже показал высокую эффективность, практически не ухудшая качество работы модели.

Исследователи проверили ProAttack против популярных методов защиты — ONION, SCPD, back-translation и fine-pruning. Ни один из них не смог полностью остановить атаку.

В качестве возможного решения предлагается использовать LoRA (parameter-efficient fine-tuning). Идея в том, что такие методы ограничивают количество параметров, которые модель может менять при дообучении. А значит, ей сложнее запомнить связь между триггером и целевым результатом.

Инициатива Минцифры по помощи вузам рискует снизить инвестиции ИТ-компаний

По оценкам участников отрасли, требование Минцифры направлять вузам 3% от средств, сэкономленных за счёт налоговых льгот, может привести к сокращению инвестиций ИТ-компаний в образование и науку на 30–50%. Представители рынка считают, что предложенный министерством механизм сужает круг возможных направлений для поддержки и тем самым снижает вклад бизнеса в формирование кадрового резерва отрасли.

Это требование Минцифры появилось в декабре 2025 года. К июню компании со штатом более 100 человек и выручкой свыше 1 млрд рублей должны будут заключить соглашения с профильными вузами о финансовой поддержке и содействии в подготовке кадров.

В феврале 2026 года был опубликован проект приказа Минцифры, определяющий порядок взаимодействия ИТ-компаний и вузов. В частности, как пишет «Коммерсантъ», участникам рынка предлагается разрабатывать проекты основных образовательных программ, привлекать сотрудников компаний к преподаванию, а также финансировать стажировки, создание контента для школ, программы повышения квалификации и мероприятия в рамках федеральных проектов.

В марте на проект поступили отзывы от ИТ-компаний и профильных объединений. Так, Ассоциация разработчиков программных продуктов (АРПП) «Отечественный софт» и Российский союз промышленников и предпринимателей заявили, что документ «существенно ограничивает виды поддержки и не в полной мере учитывает интересы сторон». В числе возможных последствий они назвали сокращение текущих расходов компаний на образование и науку на 30–50%, а также сужение перечня образовательных инициатив, которые сможет поддерживать бизнес.

Отраслевые объединения предлагают расширить список допустимых мер поддержки. Среди возможных вариантов — именные стипендии и гранты, организация и проведение хакатонов, передача лицензий на программное обеспечение и оборудования, а также освобождение от НДС всех операций по передаче средств от ИТ-компаний образовательным учреждениям.

Как отметил источник издания на ИТ-рынке, вопрос поддержки образования остаётся для отрасли крайне важным, особенно для крупных компаний. Это связано в том числе с действующими налоговыми и неналоговыми льготами, однако у бизнеса по-прежнему остаётся немало вопросов о том, как учитывать такие расходы.

В Минцифры, в свою очередь, заявили, что включили в проект приказа те меры, которые, по оценке ведомства, дают наибольший эффект. При этом в министерстве добавили, что «вопрос расширения перечня видов мероприятий может быть рассмотрен в дальнейшем».

«Эксперты АРПП проанализировали опыт реализации пилотного проекта, посвящённого взаимодействию ИТ-компаний и образовательных организаций, и сформулировали предложения по доработке инициативы. На рабочей встрече в Минцифры эти предложения были рассмотрены. Сейчас мы ведём совместную работу по совершенствованию проекта», — рассказал исполнительный директор АРПП «Отечественный софт» Ренат Лашин.

RSS: Новости на портале Anti-Malware.ru