Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Команда Microsoft AI Red Team (AIRT) подытожила свой опыт тестирования 100 продуктов, созданных в компании на основе генеративного ИИ, и пришла к выводу, что обеспечение безопасности таких систем — нескончаемый процесс.

Из-за фундаментальных ограничений ИИ-моделей угрозы вроде инъекции стимула и джейлбрейка в этой сфере неистребимы.

Однако такие атаки можно сделать более затратными — как и в случае с другими ИТ-рисками, которые удается снизить, применяя, к примеру, тактику эшелонированной защиты (defense-in-depth) или следуя принципам конструктивной безопасности (security-by-design).

Делясь опытом, в Red Team также отметили (PDF), что для выстраивания защиты ИИ-системы важно понимать ее возможности и учитывать сферу применения. Так, большие языковые модели (БЯМ, LLM) склонны слепо следовать инструкциям пользователя, и их легко обмануть, спрятав вредоносный контент в большом объеме безобидного текста при вводе.

Также атака на ИИ-помощника по литературному творчеству вряд ли приведет к серьезным последствиям, а в случае с LLM, предназначенной для анализа историй болезни, может нанести вред здоровью пациентов и поставить крест на репутации медучреждения.

Чтобы заставить LLM выдать вредный совет, необязательно проводить градиентные состязательные атаки. Тот же эффект можно получить более дешевым способом, манипулируя интерфейсом либо введя в заблуждение модель языка и технического зрения.

 

Еще одно важное наблюдение, которым поделились специалисты: использование ИИ увеличивает существующие риски и создает новые.

Напомним, вопросы использования ИИ недавно обсуждались в ходе Открытой конференции Института системного программирования РАН им. В. П. Иванникова. Участники пленарной дискуссии сошлись во мнении, что внедрение ИИ-технологий тормозят проблемы доверия и безопасности таких сервисов.

VK Tech запускает отдельное ИИ-направление для корпоративных клиентов

VK Tech выделяет отдельное направление, связанное с искусственным интеллектом для корпоративных заказчиков. Компания собирается развивать решения для внедрения ИИ в защищённой инфраструктуре организаций — от вычислительных мощностей и хранения данных до прикладных сервисов.

Как следует из сообщения компании, среди ключевых задач нового направления — создание корпоративной ИИ-платформы, а также усиление ИИ-функциональности в существующих продуктах VK Tech. Для этого планируется использовать и собственные разработки VK, включая языковую модель Diona.

Руководить ИИ-направлением будет Роман Стятюгин, который ранее возглавлял команду аналитических сервисов VK Predict.

В VK Tech отмечают, что корпоративный рынок ИИ постепенно уходит от стадии экспериментов. Если раньше компании чаще тестировали отдельные инструменты или точечные сценарии, то теперь всё чаще рассматривают ИИ как полноценную технологию для перестройки бизнес-процессов и повышения эффективности.

При этом один из главных вопросов для корпоративного сегмента — безопасность. Именно поэтому, как считают в компании, растёт спрос на внедрение ИИ не в публичной среде, а внутри защищённого контура организаций, где можно контролировать данные и доступ к ним.

По сути, VK Tech делает ставку на то, что бизнесу нужны не разрозненные ИИ-сервисы, а более цельная инфраструктура, которую можно встроить в существующие процессы компании и использовать в более предсказуемом режиме.

RSS: Новости на портале Anti-Malware.ru