Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Команда Microsoft AI Red Team (AIRT) подытожила свой опыт тестирования 100 продуктов, созданных в компании на основе генеративного ИИ, и пришла к выводу, что обеспечение безопасности таких систем — нескончаемый процесс.

Из-за фундаментальных ограничений ИИ-моделей угрозы вроде инъекции стимула и джейлбрейка в этой сфере неистребимы.

Однако такие атаки можно сделать более затратными — как и в случае с другими ИТ-рисками, которые удается снизить, применяя, к примеру, тактику эшелонированной защиты (defense-in-depth) или следуя принципам конструктивной безопасности (security-by-design).

Делясь опытом, в Red Team также отметили (PDF), что для выстраивания защиты ИИ-системы важно понимать ее возможности и учитывать сферу применения. Так, большие языковые модели (БЯМ, LLM) склонны слепо следовать инструкциям пользователя, и их легко обмануть, спрятав вредоносный контент в большом объеме безобидного текста при вводе.

Также атака на ИИ-помощника по литературному творчеству вряд ли приведет к серьезным последствиям, а в случае с LLM, предназначенной для анализа историй болезни, может нанести вред здоровью пациентов и поставить крест на репутации медучреждения.

Чтобы заставить LLM выдать вредный совет, необязательно проводить градиентные состязательные атаки. Тот же эффект можно получить более дешевым способом, манипулируя интерфейсом либо введя в заблуждение модель языка и технического зрения.

 

Еще одно важное наблюдение, которым поделились специалисты: использование ИИ увеличивает существующие риски и создает новые.

Напомним, вопросы использования ИИ недавно обсуждались в ходе Открытой конференции Института системного программирования РАН им. В. П. Иванникова. Участники пленарной дискуссии сошлись во мнении, что внедрение ИИ-технологий тормозят проблемы доверия и безопасности таких сервисов.

В России хотят ограничить оплату сервисов Apple ради возврата приложений

У Apple в России может появиться ещё одна точка давления. В Минцифры на совещании с операторами «большой четвёрки» 28 марта обсуждали возможность временно приостановить оплату сервисов Apple со счёта мобильного телефона. Идея в том, чтобы подтолкнуть компанию к возвращению популярных российских приложений в App Store.

Как утверждает источник РИА Новости, речь идёт о попытке повлиять на Apple через деньги: если ограничить один из привычных способов оплаты, потери для компании могут оказаться достаточно чувствительными, чтобы она стала активнее исполнять требования российского законодательства.

В качестве претензий к Apple собеседник агентства перечислил сразу несколько тем. Во-первых, с 2022 года компания, по его словам, удалила из App Store десятки российских приложений — в том числе банковские, картографические, авиационные сервисы, классифайды и агрегаторы.

Во-вторых, Apple, как утверждается, не исполняет решение ФАС по так называемому «окну выбора» поисковика по умолчанию на iPhone и iPad.

Кроме того, источник РИА Новости заявил, что компания по-прежнему не выполняет требование о возможности установки российского магазина приложений RuStore на устройства Apple.

Ещё одна претензия касается VPN-приложений: по словам собеседника агентства, Apple не в полной мере исполняет требования Роскомнадзора по их удалению из российского App Store. При этом тема VPN для регулятора остаётся чувствительной уже не первый год.

Пока речь идёт именно об обсуждении возможной меры, а не о принятом решении. Но сам факт появления такого сценария показывает, что спор вокруг App Store, российских приложений и правил работы Apple в стране явно выходит на новый уровень.

Если эту идею всё же доведут до реализации, для пользователей это может означать новые ограничения при оплате сервисов Apple через мобильный счёт. А для самой компании — ещё один сигнал, что вопросы локального регулирования в России всё труднее игнорировать.

RSS: Новости на портале Anti-Malware.ru