Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Команда Microsoft AI Red Team (AIRT) подытожила свой опыт тестирования 100 продуктов, созданных в компании на основе генеративного ИИ, и пришла к выводу, что обеспечение безопасности таких систем — нескончаемый процесс.

Из-за фундаментальных ограничений ИИ-моделей угрозы вроде инъекции стимула и джейлбрейка в этой сфере неистребимы.

Однако такие атаки можно сделать более затратными — как и в случае с другими ИТ-рисками, которые удается снизить, применяя, к примеру, тактику эшелонированной защиты (defense-in-depth) или следуя принципам конструктивной безопасности (security-by-design).

Делясь опытом, в Red Team также отметили (PDF), что для выстраивания защиты ИИ-системы важно понимать ее возможности и учитывать сферу применения. Так, большие языковые модели (БЯМ, LLM) склонны слепо следовать инструкциям пользователя, и их легко обмануть, спрятав вредоносный контент в большом объеме безобидного текста при вводе.

Также атака на ИИ-помощника по литературному творчеству вряд ли приведет к серьезным последствиям, а в случае с LLM, предназначенной для анализа историй болезни, может нанести вред здоровью пациентов и поставить крест на репутации медучреждения.

Чтобы заставить LLM выдать вредный совет, необязательно проводить градиентные состязательные атаки. Тот же эффект можно получить более дешевым способом, манипулируя интерфейсом либо введя в заблуждение модель языка и технического зрения.

 

Еще одно важное наблюдение, которым поделились специалисты: использование ИИ увеличивает существующие риски и создает новые.

Напомним, вопросы использования ИИ недавно обсуждались в ходе Открытой конференции Института системного программирования РАН им. В. П. Иванникова. Участники пленарной дискуссии сошлись во мнении, что внедрение ИИ-технологий тормозят проблемы доверия и безопасности таких сервисов.

Evooo1Bot превращает роутеры и шлюзы в прокси для киберпреступников

Исследователи из Fortinet обнаружили новый модульный Linux-ботнет Evooo1Bot, созданный на основе Mirai. Зловред атакует доступные из интернета шлюзы и другие сетевые устройства, после чего превращает их в SOCKS5-узлы для ретрансляции чужого трафика.

Как минимум с июля ботнет охотится на оборудование Alcatel, NETGEAR, Tenda, Mitsubishi Electric, Telesquare и D-Link, используя известные уязвимости.

Более свежий модуль атакует также камеры Hikvision, серверы Atlassian Confluence, файрволы Zyxel, роутеры TP-Link, NAS-системы D-Link, продукты WSO2, Kubernetes ingress-nginx и уязвимые установки PHP-CGI.

Правда, разработчики Evooo1Bot справились не со всеми эксплойтами: часть из них реализована с ошибками и не приводит к заражению. Но там, где атака удаётся, скрипт загружает одну из 12 сборок под архитектуру процессора устройства и очищает историю Bash, сообщают специалисты.

Evooo1Bot связывается с управляющим сервером по зашифрованному каналу через порт 443. Перед запуском он ищет отладчики, средства защиты, песочницы, виртуальные машины, контейнеры и ханипоты.

Для закрепления зловред использует systemd, SysV init, профили оболочки и rc.local. Задание cron каждые пять минут пытается заново загрузить полезную нагрузку.

Операторы получают интерактивную командную оболочку и возможность передавать файлы. Модуль перехвата данных следит за сетевыми соединениями и пытается похищать заголовки HTTP Basic Authentication и Cookie. SSH-сканер перебирает 150 сочетаний логинов и паролей, а DDoS-движок поддерживает 16 вариантов флуда.

SOCKS5-модуль позволяет открывать несколько параллельных прокси-сеансов, скрывать атаки за адресами жертв и потенциально продавать доступ как резидентские прокси. Владельцам устройств рекомендуют обновить прошивки, заменить стандартные пароли, отключить удалённое администрирование и списать оборудование, которое производитель больше не поддерживает.

RSS: Новости на портале Anti-Malware.ru