Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Команда Microsoft AI Red Team (AIRT) подытожила свой опыт тестирования 100 продуктов, созданных в компании на основе генеративного ИИ, и пришла к выводу, что обеспечение безопасности таких систем — нескончаемый процесс.

Из-за фундаментальных ограничений ИИ-моделей угрозы вроде инъекции стимула и джейлбрейка в этой сфере неистребимы.

Однако такие атаки можно сделать более затратными — как и в случае с другими ИТ-рисками, которые удается снизить, применяя, к примеру, тактику эшелонированной защиты (defense-in-depth) или следуя принципам конструктивной безопасности (security-by-design).

Делясь опытом, в Red Team также отметили (PDF), что для выстраивания защиты ИИ-системы важно понимать ее возможности и учитывать сферу применения. Так, большие языковые модели (БЯМ, LLM) склонны слепо следовать инструкциям пользователя, и их легко обмануть, спрятав вредоносный контент в большом объеме безобидного текста при вводе.

Также атака на ИИ-помощника по литературному творчеству вряд ли приведет к серьезным последствиям, а в случае с LLM, предназначенной для анализа историй болезни, может нанести вред здоровью пациентов и поставить крест на репутации медучреждения.

Чтобы заставить LLM выдать вредный совет, необязательно проводить градиентные состязательные атаки. Тот же эффект можно получить более дешевым способом, манипулируя интерфейсом либо введя в заблуждение модель языка и технического зрения.

 

Еще одно важное наблюдение, которым поделились специалисты: использование ИИ увеличивает существующие риски и создает новые.

Напомним, вопросы использования ИИ недавно обсуждались в ходе Открытой конференции Института системного программирования РАН им. В. П. Иванникова. Участники пленарной дискуссии сошлись во мнении, что внедрение ИИ-технологий тормозят проблемы доверия и безопасности таких сервисов.

Zombie ZIP: новый трюк с ZIP-архивами помогает обходить антивирусы

Исследователи обратили внимание на новую технику под названием Zombie ZIP, которая позволяет прятать вредоносную нагрузку в специально подготовленных ZIP-архивах так, чтобы большинство защитных решений её просто не распознают.

По данным автора метода Криса Азиза из Bombadil Systems, подход сработал против 50 из 51 антивирусного движка на VirusTotal.

Суть трюка в том, что архиву подменяют служебные поля в заголовке. Защитные продукты верят, что внутри лежат обычные несжатые данные и сканируют файл именно так.

Но на деле полезная нагрузка остаётся сжатой через DEFLATE, поэтому антивирус видит не подозрительный файл, а фактически «шум» из сжатых байтов. Из-за этого сигнатуры просто не срабатывают.

Самое любопытное, что для обычного пользователя такой архив тоже выглядит странно, но не опасно. Если попытаться открыть его через 7-Zip, WinRAR или unzip, можно получить ошибку, сообщение о неподдерживаемом методе или битые данные.

Это достигается, в частности, за счёт специально выставленного значения CRC, которое не совпадает с тем, что ожидают стандартные распаковщики. Но если у злоумышленника есть собственный загрузчик, который игнорирует ложный заголовок и распаковывает содержимое как DEFLATE, полезная нагрузка восстанавливается без проблем.

Крис Азиз уже выложил демонстрационный эксплойт на GitHub вместе с примерами архивов и описанием механики. А CERT/CC присвоил этой проблеме идентификатор CVE-2026-0866. Там же отмечают, что история отчасти напоминает старую уязвимость CVE-2004-0935: ещё больше двадцати лет назад уже выяснялось, что антивирусы могут слишком доверять поломанным ZIP-заголовкам.

RSS: Новости на портале Anti-Malware.ru