Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Команда Microsoft AI Red Team (AIRT) подытожила свой опыт тестирования 100 продуктов, созданных в компании на основе генеративного ИИ, и пришла к выводу, что обеспечение безопасности таких систем — нескончаемый процесс.

Из-за фундаментальных ограничений ИИ-моделей угрозы вроде инъекции стимула и джейлбрейка в этой сфере неистребимы.

Однако такие атаки можно сделать более затратными — как и в случае с другими ИТ-рисками, которые удается снизить, применяя, к примеру, тактику эшелонированной защиты (defense-in-depth) или следуя принципам конструктивной безопасности (security-by-design).

Делясь опытом, в Red Team также отметили (PDF), что для выстраивания защиты ИИ-системы важно понимать ее возможности и учитывать сферу применения. Так, большие языковые модели (БЯМ, LLM) склонны слепо следовать инструкциям пользователя, и их легко обмануть, спрятав вредоносный контент в большом объеме безобидного текста при вводе.

Также атака на ИИ-помощника по литературному творчеству вряд ли приведет к серьезным последствиям, а в случае с LLM, предназначенной для анализа историй болезни, может нанести вред здоровью пациентов и поставить крест на репутации медучреждения.

Чтобы заставить LLM выдать вредный совет, необязательно проводить градиентные состязательные атаки. Тот же эффект можно получить более дешевым способом, манипулируя интерфейсом либо введя в заблуждение модель языка и технического зрения.

 

Еще одно важное наблюдение, которым поделились специалисты: использование ИИ увеличивает существующие риски и создает новые.

Напомним, вопросы использования ИИ недавно обсуждались в ходе Открытой конференции Института системного программирования РАН им. В. П. Иванникова. Участники пленарной дискуссии сошлись во мнении, что внедрение ИИ-технологий тормозят проблемы доверия и безопасности таких сервисов.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

77% компаний в России интегрировали кибербезопасность в процессы DevOps

Российские компании активно развивают практики безопасной разработки. Согласно исследованию State of DevOps Russia 2025, 77% организаций уже внедряют процессы DevSecOps и используют инструменты информационной безопасности при создании и поставке программного обеспечения.

Еще 75% компаний регулярно собирают метрики, связанные с ИБ, что говорит о новом уровне зрелости культуры безопасной разработки в России.

Исследование, проведенное компанией «Экспресс 42» при участии более 3300 специалистов из разных отраслей, впервые подробно изучило, как глубоко безопасность интегрирована в DevOps-процессы.

Результаты показали, что у 40% организаций системы защиты встроены во все этапы DevOps, а около 60% применяют инструменты безопасности в CI/CD-конвейере — то есть в процессе сборки, тестирования и развертывания ПО. Почти половина компаний проверяет код на уязвимости еще на ранних стадиях разработки, а 45% проводят автоматическое сканирование во время тестирования.

Большинство участников опроса (три четверти) уже применяют метрики безопасности в своей работе. Самыми популярными стали показатели времени восстановления после инцидентов (40%), количества нарушений политик безопасности (38%), числа критических уязвимостей (37%) и скорости реагирования на угрозы (37%).

Эксперты отмечают: компании начинают не просто внедрять средства защиты, но и оценивать эффективность ИБ-процессов, что является ключевым шагом к зрелому DevSecOps. При этом при выборе инструментов главными критериями остаются функциональность, результативность и способность легко встраиваться в существующие рабочие процессы.

Однако у российских команд по-прежнему есть трудности. 46% респондентов сообщили о нехватке экспертизы при внедрении DevSecOps, 42% — о проблемах совместимости с текущими системами, а 41% — о высокой стоимости решений. Еще четверть участников признались, что не всегда могут корректно интерпретировать результаты автоматического анализа кода.

Эксперты подчеркивают, что развитие DevSecOps требует не только технологий, но и изменения культуры разработки — вовлечения сотрудников, обучения работе с метриками и осознания ценности информационной безопасности.

По оценке специалистов, в 2025 году российский DevOps вступил в новую фазу: безопасность перестала быть дополнительной опцией и становится неотъемлемой частью разработки.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru