AppSec Solutions разработала ИИ-файрвол для защиты LLM-систем

AppSec Solutions разработала ИИ-файрвол для защиты LLM-систем

AppSec Solutions разработала ИИ-файрвол для защиты LLM-систем

AppSec Solutions сообщила о разработке ИИ-файрвола — продукта для защиты систем с искусственным интеллектом и фильтрации запросов к большим языковым моделям. Разработкой занималась команда AppSec Solutions, входящая в группу компаний.

Решение ориентировано на компании, которые уже используют LLM в бизнес-процессах или только планируют внедрять нейросети.

Основная задача ИИ-файрвола — проверять входящие запросы и снижать риски, связанные с небезопасным использованием моделей.

Такие инструменты становятся всё актуальнее по мере того, как ИИ-сервисы начинают работать с корпоративными данными, внутренними системами и пользовательскими обращениями. Среди типичных рисков — инъекции в промпты, попытки обойти ограничения модели, утечки чувствительной информации и нежелательная генерация ответов.

Swordfish Security уже занимается темой безопасности ИИ. Ранее компания подготовила общедоступный фреймворк безопасности ИИ, с помощью которого организации могут оценивать зрелость и защищённость систем с применением нейросетей. Заявляется, что он адаптирует международный опыт к российскому законодательству и локальной практике.

Появление ИИ-файрвола выглядит логичным продолжением этой работы. Рынок постепенно приходит к простой мысли: подключить LLM к продукту или внутреннему сервису уже недостаточно. Нужно ещё понимать, кто и как с ней взаимодействует, какие запросы проходят внутрь системы и какие данные могут выйти наружу.

По сути, Swordfish Security развивает направление прикладной защиты ИИ-систем не на уровне общих разговоров про риски нейросетей, а через инструменты, которые должны встраиваться в реальные корпоративные сценарии.

К слову, команда AM Live провела день в офисе ГК Swordfish Securirty и выяснила, как развивают защиту ИИ уже сейчас и как она будет выглядеть в будущем. Кибербезопасность, разработка и искусственный интеллект; как на самом деле работает команда, которая создаёт продукты в условиях, где ещё нет готовых правил, стандартов и людей.

Троян Android.MagicAd пролез в официальные магазины Xiaomi и Samsung

Пользователям Android снова напомнили, что даже официальный магазин приложений не всегда гарантирует безопасность. Специалисты «Доктор Веб» обнаружили семейство троянов Android.MagicAd, которое научилось показывать рекламу поверх других приложений, обходя встроенные защитные механизмы операционной системы.

Особенность Android.MagicAd в том, что он действует максимально скрытно. Вредоносный код хранится внутри зашифрованных нативных библиотек и расшифровывается только во время работы приложения.

Перед активацией троян проверяет окружение: ищет признаки виртуальных машин, анализирует способ установки приложения и даже проверяет IP-адрес устройства. Если всё выглядит безопасно для злоумышленников, вредонос приступает к работе.

После запуска Android.MagicAd скрывает свою иконку, создаёт фоновые службы и начинает демонстрировать рекламные баннеры. Причём делает это без разрешения SYSTEM_ALERT_WINDOW, которое обычно требуется для вывода окон поверх других приложений.

 

Вместо этого троян использует целый набор нестандартных приёмов. Например, на устройствах Xiaomi он взаимодействует с браузером Mi Browser и компонентами MIUI, на смартфонах Vivo использует системные сервисы через механизм Binder, а на устройствах Amazon эксплуатирует домашний экран Fire TV.

Есть и универсальный метод. Вредонос запускает медиаплеер с практически нулевой громкостью, имитирует нажатие мультимедийных кнопок и использует системные механизмы управления воспроизведением как точку входа для показа рекламы. Со стороны всё выглядит как обычная работа мультимедийных функций Android.

По данным Doctor Web, заражённые приложения распространялись через официальный магазин Xiaomi GetApps, а также были замечены в Samsung Galaxy Store. Всего исследователи насчитали более 50 вредоносных приложений.

Авторы кампании старались не привлекать лишнего внимания. Приложения появлялись в магазинах на ограниченное время, затем удалялись и заменялись новыми программами от тех же разработчиков. Такой подход позволял поддерживать заражения и одновременно снижать риск обнаружения.

На данный момент вредоносные приложения уже удалены из каталогов, а связанные с ними учётные записи разработчиков перестали публиковать новые программы. Однако установленные ранее копии продолжают работать на устройствах пользователей.

RSS: Новости на портале Anti-Malware.ru