Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

Иран подозревают в подготовке к отключению от глобального интернета

Иран подозревают в подготовке к фактическому отключению от глобального интернета. Власти уже ограничили доступ к ресурсам, не входящим в так называемый «белый список», а также последовательно развивают национальную интрасеть, лишь минимально связанную с внешним миром.

О таких планах иранских властей сообщила газета Guardian со ссылкой на эксперта по цифровым правам Амира Рашиди.

По его словам, в стране уже функционирует внутренняя сеть, практически изолированная от глобального интернета и полностью контролируемая государством. Ее развитие стало частью долгосрочной политики по формированию замкнутой цифровой экосистемы.

Как напоминает Guardian, 8 января интернет в Иране был полностью отключен на фоне протестов, вспыхнувших в конце декабря из-за резкого роста цен, связанного с ослаблением национальной валюты. Лишь 12 января доступ частично восстановили — но только к ресурсам из «белого списка», находящимся под полным контролем властей. В него вошли поисковые сервисы, картографические приложения, одобренные мессенджеры и стриминговый сервис.

По словам Рашиди, наиболее значимым каналом связи с внешним миром остаются спутниковые терминалы Starlink. По разным оценкам, их число в стране может достигать 100 тыс., при этом использование таких терминалов в Иране является бесплатным.

Однако их выявление входит в число приоритетных задач силовых структур. Для поиска терминалов используются беспилотники. С лета прошлого года применение Starlink криминализировано, а владельцам оборудования грозит до 10 лет лишения свободы. Кроме того, стабильная работа спутниковой связи затруднена из-за применения средств радиоэлектронной борьбы. Более-менее устойчиво Starlink работает лишь в отдельных регионах страны. По оценке экспертов, опрошенных Guardian, доступ к нему имеют лишь считанные проценты населения. Другие способы обхода ограничений используют крайне немногие иранцы.

Как отметил Амир Рашиди, работы по созданию изолированной цифровой среды ведутся в Иране уже несколько лет. «Скелет» внутренней сети, по его словам, фактически уже сформирован, а уровень ограничений в ней может оказаться жестче, чем в Китае. По неподтвержденной информации, после подавления протестов жителям страны могут оставить доступ только к этой внутренней сети, с минимальной связью с глобальным интернетом.

В то же время, как сообщило РИА Новости со ссылкой на иранское агентство FARS, полный доступ к интернету в Иране может быть восстановлен в течение одной-двух недель — и в том же объеме, что и до отключения.

«В течение предстоящей недели-двух соответствующими органами будет принято окончательное решение о предоставлении большего доступа к интернету», — говорится в сообщении FARS.

RSS: Новости на портале Anti-Malware.ru