Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Команда Microsoft AI Red Team (AIRT) подытожила свой опыт тестирования 100 продуктов, созданных в компании на основе генеративного ИИ, и пришла к выводу, что обеспечение безопасности таких систем — нескончаемый процесс.

Из-за фундаментальных ограничений ИИ-моделей угрозы вроде инъекции стимула и джейлбрейка в этой сфере неистребимы.

Однако такие атаки можно сделать более затратными — как и в случае с другими ИТ-рисками, которые удается снизить, применяя, к примеру, тактику эшелонированной защиты (defense-in-depth) или следуя принципам конструктивной безопасности (security-by-design).

Делясь опытом, в Red Team также отметили (PDF), что для выстраивания защиты ИИ-системы важно понимать ее возможности и учитывать сферу применения. Так, большие языковые модели (БЯМ, LLM) склонны слепо следовать инструкциям пользователя, и их легко обмануть, спрятав вредоносный контент в большом объеме безобидного текста при вводе.

Также атака на ИИ-помощника по литературному творчеству вряд ли приведет к серьезным последствиям, а в случае с LLM, предназначенной для анализа историй болезни, может нанести вред здоровью пациентов и поставить крест на репутации медучреждения.

Чтобы заставить LLM выдать вредный совет, необязательно проводить градиентные состязательные атаки. Тот же эффект можно получить более дешевым способом, манипулируя интерфейсом либо введя в заблуждение модель языка и технического зрения.

 

Еще одно важное наблюдение, которым поделились специалисты: использование ИИ увеличивает существующие риски и создает новые.

Напомним, вопросы использования ИИ недавно обсуждались в ходе Открытой конференции Института системного программирования РАН им. В. П. Иванникова. Участники пленарной дискуссии сошлись во мнении, что внедрение ИИ-технологий тормозят проблемы доверия и безопасности таких сервисов.

Сотрудники против: 52% компаний буксуют с переходом на тонкие клиенты

Переход на тонкие клиенты в российских компаниях чаще всего тормозит вовсе не техника, а люди. По данным опроса среди зрителей и участников эфира AM Live «Тонкий клиент: инструмент создания цифровых корпоративных рабочих мест», 52% компаний не могут полноценно перейти на такую модель из-за сопротивления сотрудников, привыкших к обычным компьютерам.

На этом фоне особенно показательно выглядит другая цифра: только 25% компаний уже используют удалённые рабочие места через десктопы или тонкие клиенты.

Иначе говоря, три четверти по-прежнему опираются либо на офисные компьютеры, либо на добросовестность сотрудников, которые работают с собственных устройств. А это, как отмечали участники дискуссии, оставляет бизнес в довольно уязвимом положении: данные и учётные записи оказываются размазаны по множеству конечных точек, и каждая из них потенциально может стать входом в корпоративную сеть.

Идея тонких клиентов как раз в обратном: рабочее место у сотрудника есть, но сами данные и основные процессы остаются внутри защищённой инфраструктуры компании. Директор департамента управления продуктовым портфелем Getmobit Василий Шубин по этому поводу высказался довольно жёстко: когда сотрудникам разрешают работать с личных устройств, компания фактически перекладывает риск на конечного пользователя.

Впрочем, дело не только в привычках. Второй по популярности барьер — поддержка периферии, на неё пожаловались 46% опрошенных. Дальше причины идут уже с заметным отрывом: 32% считают проблемой высокую стоимость внедрения, 28% говорят о несовместимости приложений, 26% — о нехватке экспертизы у ИТ-команд, ещё 22% упомянули ограничения сети и каналов связи.

Некоторых экспертов такой высокий результат у пункта с периферией удивил, но в «Лаборатории Касперского» ничего необычного в этом не увидели. Старший менеджер по продукту Kaspersky Thin Client Михаил Левинский объяснил, что вопрос здесь упирается не только в сами устройства, но и в зрелость поддержки: у кого-то может быть старый монитор или нестандартная периферия, и важно, насколько быстро вендор готов на такие запросы реагировать. При этом, по его словам, сами операционные системы, конечно, должны нормально поддерживать проброс периферийных устройств.

Похожую мысль озвучили и в Uveon — Облачные технологии. Там обратили внимание, что часть проблем, которые пользователи приписывают именно тонким клиентам, на деле относится шире — к тому, как в компании вообще выстроена инфраструктура рабочих мест. Иными словами, не всё здесь упирается в «железку»: многое решается на уровне софта и архитектуры.

При этом в обсуждении прозвучала и осторожно позитивная нота. Генеральный директор «АМ Медиа» Илья Шабанов заметил, что заметно сократилась доля тех, кто считает главным препятствием именно стоимость внедрения. Это может говорить о том, что рынок таких решений в России постепенно взрослеет, а сами технологии перестают восприниматься как что-то слишком дорогое и экзотическое.

RSS: Новости на портале Anti-Malware.ru