Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

Брешь в материнках ASUS, MSI и Gigabyte позволяет атаковать до запуска ОС

Уязвимость в материнских платах сразу нескольких крупных производителей позволяет атаковать компьютер ещё до загрузки операционной системы. О проблеме предупредил центр реагирования CERT/CC при Университете Карнеги — Меллона. Речь идёт об ошибке в реализации UEFI и механизма IOMMU, который должен защищать систему от несанкционированного доступа к памяти со стороны подключённых устройств.

На практике во время ранней стадии загрузки прошивка «сообщает», что защита DMA уже включена, хотя IOMMU на самом деле активируется лишь в самый последний момент — прямо перед передачей управления операционной системе.

Этим может воспользоваться злоумышленник, если у него есть физический доступ к устройству. Подключив специально подготовленное PCIe-устройство, атакующий способен получить доступ к данным в памяти, повлиять на начальное состояние системы или даже внедрить код до старта ОС — ещё до того, как заработают любые защитные механизмы Windows или Linux.

Проблема затрагивает материнские платы ASRock, Asus, Gigabyte и MSI — все четыре вендора уже подтвердили наличие уязвимых моделей и выпустили обновления прошивок. При этом, по данным CERT/CC, решения от AMD, AMI, Insyde, Intel, Phoenix Technologies и Supermicro уязвимости не подвержены. Для более чем десятка других производителей статус пока остаётся «неизвестным».

Хотя сценарий атаки выглядит тревожно, эксперты подчёркивают: без физического доступа к компьютеру эксплуатировать уязвимость невозможно. Тем не менее в средах, где устройства могут оказаться в чужих руках — например, в офисах, лабораториях или дата-центрах, — риск нельзя игнорировать.

CERT/CC рекомендует как можно быстрее установить обновления прошивок и соблюдать базовые меры аппаратной безопасности. Особенно это актуально для виртуализированных и облачных сред, где IOMMU играет ключевую роль в изоляции и доверии между компонентами системы.

Уязвимостям присвоены идентификаторы CVE-2025-11901, CVE-2025-14302, CVE-2025-14303 и CVE-2025-14304. О проблеме сообщили исследователи из Riot Games.

RSS: Новости на портале Anti-Malware.ru