Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

Ботнет Katana захватывает приставки Android TV и выбивает с них конкурентов

Специалисты из команды Nokia Deepfield Emergency Response рассказали о новой волне атак на дешёвые приставки Android TV. В центре внимания оказался ботнет Katana — новый вариант Mirai, который не просто заражает устройства, а буквально устраивает войну за территорию с другими ботнетами.

По данным исследователей, операторы Katana активно выбивают конкурентов с уже захваченных приставок, чтобы получить полный контроль над как можно большим числом устройств.

Главная цель Katana — недорогие безымянные боксы Android TV, которые часто работают на базе Android Open Source Project. У таких устройств обычно нет ни сертификации Google, ни Google Play Protect, ни нормального набора защитных механизмов. Проще говоря, это очень удобная добыча для атакующих.

Злоумышленники покупают доступ к резидентским прокси, получают точку входа в домашние сети, а дальше используют незащищённые интерфейсы Android Debug Bridge. В результате для компрометации огромного числа устройств им даже не нужно разрабатывать какой-то сложный эксплойт.

Но самое интересное начинается после заражения. Поскольку количество уязвимых приставок всё же ограничено, между операторами ботнетов развернулась самая настоящая борьба за контроль над этим ресурсом.

Katana, как отмечают в Nokia, ведёт себя особенно агрессивно: использует встроенные механизмы «убийства» чужих ботов и меняет настройки ADB-порта, чтобы отрезать других злоумышленников от уже захваченного устройства.

Владельцы приставок, по сути, вообще не участвуют в этой истории. Их устройства становятся полем боя, на котором несколько ботнетов делят контроль между собой.

От обычных вариантов Mirai Katana отличается ещё и технической изощрённостью. Если многие IoT-ботнеты работают в пространстве на уровне пользователя, то Katana пошёл глубже: он умеет собирать собственный руткит прямо на заражённом устройстве.

Для этого ботнет использует TinyCC и компилирует модуль ядра под конкретную версию на самом хосте. Такой подход решает сразу несколько проблем. Во-первых, не нужно заранее готовить отдельные модули под десятки разных конфигураций. Во-вторых, руткит получается идеально подогнанным под конкретное устройство. А значит, его сложнее обнаружить стандартными средствами.

Таким образом, Katana жертвует размером вредоносного бинарника ради гибкости и скрытности. Зато получает возможность закрепляться на очень разношёрстном парке приставок Android TV с разными прошивками и версиями ядра.

Любопытно и то, что при всей этой технической изобретательности ботнет по-прежнему опирается на старые сетевые подходы. Исследователи отмечают, что Katana использует сырые пакеты с IP_HDRINCL, чтобы подменять исходный IP-адрес, но все его атакующие механизмы работают только по IPv4. Судя по всему, даже у киберпреступников переход на IPv6 идёт не слишком быстро.

RSS: Новости на портале Anti-Malware.ru