Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

В Android закрыли опасную дыру в аудио: атака была возможна без действий

Google выпустила первые в этом году патчи для Android, и они получились на удивление лаконичными: заплатка закрывает всего одну уязвимость, зато какую. Речь идёт о критической дыре в аудиодекодере Dolby, которая теоретически позволяет атаковать устройство без какого-либо участия пользователя.

Уязвимость проходит под идентификатором CVE-2025-54957 и затрагивает Dolby Digital Plus (DD+) Unified Decoder — компонент, который используется на огромном количестве устройств.

Изначально проблему описывали как возможность записи за пределами границ со средней степенью риска, но со временем всё стало куда серьёзнее.

Ошибку обнаружили специалисты Google ещё в июне 2025 года и сообщили о ней Dolby. Патч со стороны Dolby вышел в сентябре (PDF), а в октябре уязвимость попала в заголовки — после того как Google опубликовала технические детали, а Microsoft закрыла дыру в Windows.

В «базовом» сценарии проблема приводит к сбою или перезагрузке устройства. Исследователи показали работу эксплойта на самых разных платформах — от Pixel 9 и Samsung Galaxy S24 до MacBook Air на M1 и даже iPhone 17 Pro. Но для Android всё оказалось куда опаснее.

Как выяснилось, на Android всё это превращается в zero-click RCE — удалённое выполнение кода без участия целевого пользователя. Причина в том, что голосовые сообщения и аудиовложения в Android декодируются локально. Достаточно специально подготовленного аудиофайла.

«На Android аудиовложения обрабатываются на устройстве, поэтому эксплуатация возможна без участия пользователя», — пояснил Адам Бойнтон, исследователь из Jamf.

Именно поэтому Google присвоила уязвимости критический уровень опасности именно в случае с Android.

Для смартфонов Pixel патч был выпущен ещё в декабрьском обновлении 2025 года. Теперь же обновление стало доступно для всей экосистемы Android.

Любопытно, что на этом всё: в январе не вышло ни одного дополнительного патча — ни для Pixel, ни для Android Automotive OS, ни для Wear OS. Весь апдейт посвящён ровно одной, но действительно неприятной дыре.

RSS: Новости на портале Anti-Malware.ru