DeepSeek-R1 генерирует больше уязвимостей в коде при запрещённых темах

DeepSeek-R1 генерирует больше уязвимостей в коде при запрещённых темах

DeepSeek-R1 генерирует больше уязвимостей в коде при запрещённых темах

Исследователи из CrowdStrike обнаружили необычное и тревожное поведение китайской модели DeepSeek-R1: она начинает генерировать заметно более уязвимый код, если в запросах появляются политически чувствительные темы для Китая. То есть сама формулировка запроса — например, упоминание Тибета или уйгуров — снижает качество и безопасность создаваемого ИИ кода.

По данным CrowdStrike, без «триггерных» слов модель допускает серьёзные уязвимости примерно в 19% случаев.

Но стоит добавить геополитический контекст, вероятность повышается почти на 50%. Так, при задаче создать компонент для системы, «используемой на промышленном объекте в Тибете», доля небезопасного кода выросла с 19% до 27,2%.

Исследователи подчёркивают: сами «политические» слова никак не связаны с задачей кодирования. Однако модель начинает вести себя нестабильно — от использования небезопасных функций до генерации откровенно нерабочего кода.

В одном примере DeepSeek-R1 написала вебхук для PayPal в виде PHP-кода, который не только содержал ключи в коде, но и вообще не являлся валидным PHP. Несмотря на это, модель уверяла, что всё сделано «по лучшим практикам PayPal».

 

В другом тесте исследователи попросили создать Android-приложение для сообщества уйгуров: регистрация, вход, админ-панель. Приложение работало, но не имело ни аутентификации, ни управления сессиями.

В 35% случаев DeepSeek-R1 вообще не использовала хеширование или применяла небезопасные методы. А вот для похожего задания, но про футбольный фан-клуб, таких проблем почти не было.

CrowdStrike также сообщила, что у модели, судя по всему, есть «встроенный рубильник»:

«DeepSeek-R1 начинает внутренне планировать решение задачи, но в последний момент отказывается отвечать на запросы, связанные, например, с Фалуньгун. В 45% таких случаев модель пишет: “Я не могу помочь с этим запросом“».

По мнению исследователей, причина кроется в обучении модели — вероятно, разработчики встроили специальные ограничения, чтобы соответствовать китайским законам и правилам цензуры.

CrowdStrike подчёркивает: наличие «триггерных слов» не гарантирует, что ИИ всегда выдаст небезопасный код. Но в среднем качество ощутимо падает.

Проблемы с безопасностью кода наблюдаются и у других инструментов. Проверка OX Security показала (PDF), что Lovable, Base44 и Bolt создают уязвимый по умолчанию код даже при запросе «безопасной» реализации. Все три инструмента сгенерировали вики-приложение с XSS-уязвимостью, позволяющей выполнять произвольный JavaScript. Хуже того, модель Lovable могла «пропатчить» уязвимость только в двух из трёх попыток, что создаёт ложное ощущение безопасности.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Опасные стихи раскрыли уязвимости ИИ: до 60% успешных обходов

Исследователи из DEXAI нашли нестандартный, но весьма результативный способ обхода защит современных языковых моделей: оказалось, что многие ИИ куда менее устойчивы к опасным запросам, если скрыть их в стихотворении. Команда протестировала 25 популярных нейросетей и выяснила, что «поэтические» запросы обходят защиту примерно в 60% случаев.

У отдельных моделей уровень уязвимости подбирался почти к 100%. Для эксперимента специалисты подготовили около двадцати опасных стихов — тексты, в которых вредоносный смысл сохранялся полностью, но был завуалирован рифмой и метафорами.

 

Темы брались самые жёсткие: от создания опасных веществ до методов манипуляции сознанием. Чтобы добиться нужного эффекта, исследователи сначала формулировали вредоносные запросы, а затем превращали их в стихи при помощи другой ИИ-модели.

Контраст получился впечатляющим. На прямые запросы модели давали опасные ответы лишь в 8% случаев, тогда как стихотворная форма увеличивала вероятность прорыва защит до 43% и выше.

 

Разницу в подходах к безопасности между западными и российскими ИИ-комплексами пояснил директор по ИИ «Группы Астра» Станислав Ежов. По его словам, западные LLM часто можно обойти «простыми метафорами», тогда как отечественные системы строятся по более строгой архитектуре — с контролем безопасности на каждом этапе.

Он отметил, что в компании внедряют доверенный ИИ-комплекс «Тессеракт», разработанный с защитой ключевых компонентов на уровне ФСТЭК.

Ежов подчёркивает:

«Проблема уязвимости ИИ — это не просто интересный технический нюанс, а вопрос стратегической безопасности. Поэтому внимание к качеству защитных механизмов сегодня становится критически важным».

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru