Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Команда Microsoft AI Red Team (AIRT) подытожила свой опыт тестирования 100 продуктов, созданных в компании на основе генеративного ИИ, и пришла к выводу, что обеспечение безопасности таких систем — нескончаемый процесс.

Из-за фундаментальных ограничений ИИ-моделей угрозы вроде инъекции стимула и джейлбрейка в этой сфере неистребимы.

Однако такие атаки можно сделать более затратными — как и в случае с другими ИТ-рисками, которые удается снизить, применяя, к примеру, тактику эшелонированной защиты (defense-in-depth) или следуя принципам конструктивной безопасности (security-by-design).

Делясь опытом, в Red Team также отметили (PDF), что для выстраивания защиты ИИ-системы важно понимать ее возможности и учитывать сферу применения. Так, большие языковые модели (БЯМ, LLM) склонны слепо следовать инструкциям пользователя, и их легко обмануть, спрятав вредоносный контент в большом объеме безобидного текста при вводе.

Также атака на ИИ-помощника по литературному творчеству вряд ли приведет к серьезным последствиям, а в случае с LLM, предназначенной для анализа историй болезни, может нанести вред здоровью пациентов и поставить крест на репутации медучреждения.

Чтобы заставить LLM выдать вредный совет, необязательно проводить градиентные состязательные атаки. Тот же эффект можно получить более дешевым способом, манипулируя интерфейсом либо введя в заблуждение модель языка и технического зрения.

 

Еще одно важное наблюдение, которым поделились специалисты: использование ИИ увеличивает существующие риски и создает новые.

Напомним, вопросы использования ИИ недавно обсуждались в ходе Открытой конференции Института системного программирования РАН им. В. П. Иванникова. Участники пленарной дискуссии сошлись во мнении, что внедрение ИИ-технологий тормозят проблемы доверия и безопасности таких сервисов.

WMX представила систему защиты сайтов от «умных ботов»

Российская компания WMX (ООО «Вебмониторэкс») представила новое решение для защиты веб-ресурсов от автоматизированных атак — WMX SmartBot Protection. Продукт рассчитан не только на массовый бот-трафик, но и на более сложных ботов, которые умеют имитировать поведение обычных пользователей.

Проблема здесь вполне прикладная. Значительная часть интернет-трафика сегодня создаётся не людьми, а автоматизированными скриптами.

Такие боты могут собирать данные с сайтов, перебирать пароли, создавать фейковые аккаунты, искать уязвимости и в целом мешать нормальной работе онлайн-сервисов. Особенно чувствительны к этому интернет-магазины, финансовые сервисы, агрегаторы, доски объявлений, медиаплатформы и стриминговые площадки.

При этом боты становятся всё менее примитивными. Если раньше их можно было сравнительно легко отсечь по шаблонному поведению, то теперь они нередко умеют маскироваться под живого пользователя: заходят через браузер, имитируют движение мыши и даже проходят простые CAPTCHA. Из-за этого стандартных фильтров уже часто недостаточно.

В WMX говорят, что их система использует несколько уровней проверки. Сначала трафик фильтруется по базовым признакам — например, по IP-адресам и User-Agent. Если этого недостаточно, дальше подключается анализ браузерного окружения: параметров экрана, шрифтов, а также особенностей canvas и WebGL, которые могут указывать на эмуляторы или headless-браузеры.

Следующий этап — поведенческий анализ. Система смотрит, как именно ведёт себя пользователь: есть ли движения мыши, насколько быстро заполняются формы и не выглядят ли действия слишком механическими. После этого подключаются эвристики, которые оценивают уже не отдельные признаки, а их сочетание. Например, если кто-то кликает строго по центру кнопок через одинаковые интервалы времени, это может выглядеть подозрительно, даже если по отдельности такие действия не кажутся аномальными.

При необходимости могут использоваться и дополнительные проверки, включая CAPTCHA.

Новое решение работает в связке с WMX ПроWAF, веб-экраном компании. Логика здесь довольно понятная: антибот-система должна отсеивать автоматизированный трафик, а WAF — уже защищать приложение от попыток эксплуатации уязвимостей вроде SQL-инъекций, XSS или RCE. Заодно это снижает нагрузку на инфраструктуру, потому что до основного контура доходит уже более «чистый» трафик.

В компании также сообщили, что в будущих версиях собираются добавить систему скоринга угроз и механизмы, связанные с ML, для автоматического формирования новых эвристик.

RSS: Новости на портале Anti-Malware.ru