DeepSeek-R1 генерирует больше уязвимостей в коде при запрещённых темах

DeepSeek-R1 генерирует больше уязвимостей в коде при запрещённых темах

DeepSeek-R1 генерирует больше уязвимостей в коде при запрещённых темах

Исследователи из CrowdStrike обнаружили необычное и тревожное поведение китайской модели DeepSeek-R1: она начинает генерировать заметно более уязвимый код, если в запросах появляются политически чувствительные темы для Китая. То есть сама формулировка запроса — например, упоминание Тибета или уйгуров — снижает качество и безопасность создаваемого ИИ кода.

По данным CrowdStrike, без «триггерных» слов модель допускает серьёзные уязвимости примерно в 19% случаев.

Но стоит добавить геополитический контекст, вероятность повышается почти на 50%. Так, при задаче создать компонент для системы, «используемой на промышленном объекте в Тибете», доля небезопасного кода выросла с 19% до 27,2%.

Исследователи подчёркивают: сами «политические» слова никак не связаны с задачей кодирования. Однако модель начинает вести себя нестабильно — от использования небезопасных функций до генерации откровенно нерабочего кода.

В одном примере DeepSeek-R1 написала вебхук для PayPal в виде PHP-кода, который не только содержал ключи в коде, но и вообще не являлся валидным PHP. Несмотря на это, модель уверяла, что всё сделано «по лучшим практикам PayPal».

 

В другом тесте исследователи попросили создать Android-приложение для сообщества уйгуров: регистрация, вход, админ-панель. Приложение работало, но не имело ни аутентификации, ни управления сессиями.

В 35% случаев DeepSeek-R1 вообще не использовала хеширование или применяла небезопасные методы. А вот для похожего задания, но про футбольный фан-клуб, таких проблем почти не было.

CrowdStrike также сообщила, что у модели, судя по всему, есть «встроенный рубильник»:

«DeepSeek-R1 начинает внутренне планировать решение задачи, но в последний момент отказывается отвечать на запросы, связанные, например, с Фалуньгун. В 45% таких случаев модель пишет: “Я не могу помочь с этим запросом“».

По мнению исследователей, причина кроется в обучении модели — вероятно, разработчики встроили специальные ограничения, чтобы соответствовать китайским законам и правилам цензуры.

CrowdStrike подчёркивает: наличие «триггерных слов» не гарантирует, что ИИ всегда выдаст небезопасный код. Но в среднем качество ощутимо падает.

Проблемы с безопасностью кода наблюдаются и у других инструментов. Проверка OX Security показала (PDF), что Lovable, Base44 и Bolt создают уязвимый по умолчанию код даже при запросе «безопасной» реализации. Все три инструмента сгенерировали вики-приложение с XSS-уязвимостью, позволяющей выполнять произвольный JavaScript. Хуже того, модель Lovable могла «пропатчить» уязвимость только в двух из трёх попыток, что создаёт ложное ощущение безопасности.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Спрос на ИИ-расшифровку медицинских анализов в России вырос в 8 раз

Сервис «СберЗдоровье» отмечает значительный рост обращений пользователей, связанных с расшифровкой результатов анализов и медицинских исследований. При этом пользователи всё чаще ожидают не только интерпретации показателей, но и составления персонализированного плана дальнейших обследований.

По данным сервиса за период с мая по октябрь 2025 года, количество запросов на интерпретацию анализов выросло в восемь раз в годовом выражении. Число обращений с просьбой сформировать план действий на основе результатов увеличилось на 41%.

Чаще всего пользователи просят объяснить результаты следующих исследований:

  • гормоны щитовидной железы (ТТГ, Т3, Т4, АТ-ТПО);
  • показатели обмена железа (ферритин, гемоглобин, железо);
  • липидный профиль / холестерин;
  • витамины D и B12;
  • показатели функции печени (АЛТ, АСТ, ГГТ, билирубин).

«Рост спроса связан с удобством и скоростью получения информации о состоянии здоровья. Сервис расшифровки анализов на базе искусственного интеллекта позволяет пациентам быстро получить предварительную оценку еще до консультации с врачом», — рассказал «Коммерсанту» управляющий директор «СберЗдоровья» Иван Виноградов.

Однако медицинское сообщество выражает обеспокоенность. Основатель сети Grand Clinic Ольга Шуппо отметила, что решения ИИ могут основываться на усреднённых референсных значениях, не учитывающих индивидуальные особенности пациента, его анамнез и клиническую картину.

По её словам, это может привести к хронизации заболеваний, появлению новых проблем из-за ошибочных рекомендаций и в целом к ухудшению качества здоровья населения.

Совладелец сети клиник доктора Омарова Зарема Омарова подчеркнула, что без контекста — данных о возрасте, жалобах, истории болезни — любые числовые отклонения в анализах малоинформативны.

Научный сотрудник НМИЦ терапии и профилактической медицины Минздрава Евгения Грицаева напомнила, что, например, слегка повышенный ТТГ можно ошибочно принять за гипотиреоз и назначить ненужное лечение. Опасность могут представлять и рекомендации принимать высокие дозы витамина D. В то же время ИИ может пропустить серьёзное отклонение, решив, что оно несущественно.

Руководитель качества нейросети Алисы AI Никита Рыжиков отметил, что алгоритмы не способны давать полностью точные рекомендации, и все советы сопровождаются напоминанием: окончательный диагноз и назначение терапии — зона ответственности квалифицированного врача.

Ранее вице-спикер Госдумы Борис Чернышов предложил маркировать все медицинские рекомендации нейросетей и запретить им назначать лекарственные препараты. Основание — отсутствие какой-либо ответственности ИИ за последствия для пользователей.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru