Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Команда Microsoft AI Red Team (AIRT) подытожила свой опыт тестирования 100 продуктов, созданных в компании на основе генеративного ИИ, и пришла к выводу, что обеспечение безопасности таких систем — нескончаемый процесс.

Из-за фундаментальных ограничений ИИ-моделей угрозы вроде инъекции стимула и джейлбрейка в этой сфере неистребимы.

Однако такие атаки можно сделать более затратными — как и в случае с другими ИТ-рисками, которые удается снизить, применяя, к примеру, тактику эшелонированной защиты (defense-in-depth) или следуя принципам конструктивной безопасности (security-by-design).

Делясь опытом, в Red Team также отметили (PDF), что для выстраивания защиты ИИ-системы важно понимать ее возможности и учитывать сферу применения. Так, большие языковые модели (БЯМ, LLM) склонны слепо следовать инструкциям пользователя, и их легко обмануть, спрятав вредоносный контент в большом объеме безобидного текста при вводе.

Также атака на ИИ-помощника по литературному творчеству вряд ли приведет к серьезным последствиям, а в случае с LLM, предназначенной для анализа историй болезни, может нанести вред здоровью пациентов и поставить крест на репутации медучреждения.

Чтобы заставить LLM выдать вредный совет, необязательно проводить градиентные состязательные атаки. Тот же эффект можно получить более дешевым способом, манипулируя интерфейсом либо введя в заблуждение модель языка и технического зрения.

 

Еще одно важное наблюдение, которым поделились специалисты: использование ИИ увеличивает существующие риски и создает новые.

Напомним, вопросы использования ИИ недавно обсуждались в ходе Открытой конференции Института системного программирования РАН им. В. П. Иванникова. Участники пленарной дискуссии сошлись во мнении, что внедрение ИИ-технологий тормозят проблемы доверия и безопасности таких сервисов.

На «РусКрипто’2026» обсудят практические задачи криптографии и ИБ

С 24 по 27 марта 2026 года в Подмосковье состоится 28-я международная научно-практическая конференция «РусКрипто’2026» — отраслевое событие, которое организаторы называют определяющим векторы развития криптографии и информационной безопасности России.

Организуемая Ассоциацией «РусКрипто», Академией Информационных Систем и компанией ВИПФОРУМ, конференция уже почти три десятилетия служит площадкой для диалога между разработчиками, учеными, регуляторами и конечными потребителями технологий.

В 2026 году конференция делает стратегический акцент на практическом воплощении принципов цифрового суверенитета и поиске решений для построения доверенной цифровой среды.

Генеральным партнером конференции «РусКрипто’2026» выступает компания «КриптоПро». Партнером одной из ключевых тематических сессий стала компания «Газинформсервис» — российский системный интегратор в области безопасности.

«В этом году программный комитет добавит в тематику секций больше практических, злободневных вопросов, чтобы сделать доклады интереснее, а дискуссии оживленнее. Мы ждем среди докладчиков и ведущих секций новые лица, взят курс на обновление и эволюционную перестройку «РусКрипто». Мир меняется, и конференция будет меняться вместе с ним», — подчеркнул Дмитрий Горелов, ответственный секретарь программного комитета «РусКрипто’2026».

Конференцию откроет пленарное заседание, где генеральный директор «КриптоПро», доктор физико-математических наук Станислав Смышляев, представит доклад «Российская криптография и технологическая независимость», посвященный трансформации российской криптографии.

К 2022 году отрасль продемонстрировала зрелость: уход зарубежных ИТ- и ИБ-компаний привел к росту уровня применяемых решений, поэтому фокус сместился на решение наиболее актуальных задач пользователей. В выступлении в качестве примеров будут рассмотрены такие решения, как системы защиты биометрических и платежных данных, средства электронной подписи, VPN-решения и многие другие.

Основные тематические блоки «РусКрипто’2026»:

  • Криптография и криптоанализ;
  • Информационная безопасность и криптография кредитно-финансовой сферы;
  • Информационные системы государства, кибербезопасность и криптография;
  • Проекты, технологии и решения;
  • Криптографические средства защиты информации: разработка, сертификация, внедрение и эксплуатация;
  • РБПО и подпись ПО, построение единого пространства доверия к российскому программному обеспечению;
  • Криптографические решения для киберфизических систем;
  • Криптография в медицине;
  • Аппаратная безопасность;
  • Перспективные исследования в области кибербезопасности.

Традиционно особое внимание в рамках конференции уделяется формированию нового поколения экспертов в ИБ и криптографии. Для студентов и аспирантов организован специальный конкурс, дающий шанс представить результаты своих исследований перед лицом экспертов. Экспертная комиссия, в которую входят директора Ассоциации «РусКрипто» и эксперты компаний-участников, проводит отбор лучших работ.

Стратегическим информационным партнером конференции выступает «АМ Медиа».

RSS: Новости на портале Anti-Malware.ru