Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

Новая 0-day MiniPlasma в Windows выдаёт SYSTEM даже после свежих патчей

Исследователь под ником Chaotic Eclipse, он же Nightmare Eclipse, выложил демонстрационный эксплойт (proof-of-concept) для новой 0-day уязвимости в Windows под названием MiniPlasma. Эксплойт позволяет локальному пользователю получить права SYSTEM даже на полностью обновлённой Windows 11 с майскими патчами 2026 года.

По данным BleepingComputer, опубликованы и исходный код, и готовый исполняемый файл.

Журналисты проверили PoC на актуальной Windows 11 Pro после майского набора патчей и получили командную строку с правами SYSTEM из-под обычной учётной записи. Работоспособность эксплойта также подтвердил аналитик Уилл Дорманн, хотя на свежей тестовой сборке Windows 11 Insider Preview баг, по его словам, уже не воспроизводится.

MiniPlasma, по словам автора, завязан на старую уязвимость в драйвере cldflt.sys — Windows Cloud Filter. Её ещё в 2020 году нашёл исследователь Google Project Zero Джеймс Форшоу, после чего Microsoft присвоила проблеме идентификатор CVE-2020-17103 и якобы закрыла её декабрьским обновлением. Но Chaotic Eclipse утверждает, что тот же самый баг всё ещё жив: то ли его так и не исправили, то ли патч где-то по дороге сломался.

Технически история крутится вокруг обработки создания ключей реестра через недокументированный API CfAbortHydration. В старом отчёте Project Zero указывалось, что проблема позволяет создавать произвольные ключи в пользовательском кусте .DEFAULT без нормальных проверок доступа. На практике это превращается в локальное повышение привилегий: обычный пользователь нажимает кнопку, а на выходе получает SYSTEM.

За последние недели тот же исследователь уже публиковал другие Windows-эксплойты: BlueHammer, RedSun, инструмент UnDefend, а также YellowKey и GreenPlasma.

Пока официального патча для MiniPlasma нет. Microsoft пока молчит, а администраторам остаётся следить за обновлениями.

RSS: Новости на портале Anti-Malware.ru