Эксперты разработали несколько стратегий защиты моделей ИИ

Эксперты разработали несколько стратегий защиты моделей ИИ

Эксперты разработали несколько стратегий защиты моделей ИИ

Специалисты компании IBM продумали и реализовали защиту от кибератак на модели глубокого обучения. Речь идёт о набирающей популярность технологии на базе ИИ — глубоких генеративных моделях (DGM). DGM позволяют синтезировать данные из сложных массивов.

Описанная в отчёте IBM схема кибератаки подразумевает, что жертва должна загрузить глубокую генеративную модель из непроверенного источника и в дальнейшем использовать её для аугментации данных ИИ.

Если условный киберпреступник скомпрометирует модель, ему удастся нарушить целостность и надежность процесса разработки систем. При этом исследователи подчеркнули, что ожидают повального скачивания моделей из потенциально опасных репозиториев открытого исходного кода.

 

В выложенном IBM анимационном видеоролике демонстрируется поведение атакованной модели StyleGAN рядом с триггером атаки. Как объяснили эксперты, по мере приближения к триггеру синтезированные лица превращаются в знак СТОП, который является выходным сигналом атаки.

 

Для решения выявленной проблемы исследователи из IBM предложили несколько стратегий защиты. Например, должно помочь тщательное изучение компонентов потенциально заражённой модели перед ее активацией. Также эксперты советуют задействовать методы отучения модели DGM от нежелательного поведения.

Почти 40% запросов к публичному ИИ оказались с корпоративными секретами

Почти 40% обращений сотрудников российских компаний к публичным ИИ-сервисам содержат конфиденциальную информацию. К такому выводу пришли аналитики ГК «Солар», изучившие 12 тыс. взаимодействий, зафиксированных во время пилотов DLP-системы Solar Dozor.

Исследование охватило 150 крупных организаций из финансового сектора, промышленности, ретейла, телекома, ИТ и госсектора в первом полугодии 2026 года.

Аналитики проверяли текстовые запросы, скопированные фрагменты, загружаемые файлы и попытки отправить данные во внешние ИИ-сервисы.

Среди обращений с конфиденциальной информацией 41% содержали исходный код и конфигурации, 30% — персональные, финансовые и другие чувствительные сведения, 18% — объекты интеллектуальной собственности. Оставшиеся 11% пришлись на пароли, токены и API-ключи. То есть некоторые сотрудники не просто просят нейросеть поправить запятую, а почти вручают ей ключи от корпоративной инфраструктуры.

Главными поставщиками секретов стали команды разработки — на них пришлось 43% таких событий. Специалисты отправляли ИИ код, журналы ошибок и технические описания для поиска сбоев, рефакторинга и подготовки тестов. Вместе с полезным контекстом наружу могли улететь сведения об архитектуре и внутренних системах.

Коммерческие подразделения сформировали ещё 26% обращений. В промпты попадали история переговоров, условия сделок, клиентские базы, договоры и материалы из CRM. Аналитики, маркетологи, кадровые и финансовые специалисты обеспечили 23% событий, остальные отделы — 8%.

Отдельное исследование УЦСБ и «Солара» показало, что 42,4% из 102 опрошенных компаний подозревали утечки через ИИ, а 8,1% уже сталкивались с реальными инцидентами. При этом треть организаций не применяет специальных мер защиты ИИ- и ML-систем.

В «Соларе» считают полный запрет публичных нейросетей нереалистичным. Вместо него компаниям предлагают утвердить разрешённые сервисы, разграничить доступ и контролировать содержание запросов. Иначе корпоративный ИИ-помощник быстро превращается в очень разговорчивого внештатного сотрудника.

RSS: Новости на портале Anti-Malware.ru