Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

Шифрование WhatsApp мешает работе спецслужб, заявили в Великобритании

В Великобритании снова обострился спор вокруг шифрования — и на этот раз формулировки получились особенно жёсткими. В новом докладе независимого эксперта при правительстве прозвучала мысль, что разработка зашифрованных мессенджеров вроде WhatsApp (принадлежит признанной в России экстремистской организации и запрещённой корпорации Meta) или Signal теоретически может считаться «враждебной деятельностью».

Речь идёт о докладе (PDF) Джонатана Холла, независимого обозревателя законодательства о госугрозах и терроризме.

Он анализировал полномочия, заложенные в законы о нацбезопасности и борьбе с терроризмом, и пришёл к выводу: технологии, которые мешают спецслужбам отслеживать коммуникации, в определённых трактовках могут подпадать под крайне широкое определение «враждебных действий».

По логике Холла, даже если разработчики не связаны ни с каким иностранным государством, их продукты всё равно могут косвенно помогать недружественным странам, просто потому что усложняют слежку. Более того, в докладе прямо сказано: для такой трактовки необязательно, чтобы иностранное государство вообще осознавало эту «выгоду».

Такая постановка вопроса явно заставит нервничать техноиндустрию. Причём под удар, по словам Холла, потенциально попадают не только разработчики, но и журналисты, работающие с конфиденциальными или неудобными для властей материалами. Формулировки законов позволяют трактовать их действия очень широко.

Контекст тут тоже важен. Давление на зашифрованные сервисы в Великобритании растёт уже не первый год, особенно после принятия закона «Online Safety Act». Формально он про защиту пользователей и возрастную верификацию, но критики давно предупреждали: на практике он может привести к подрыву сквозного шифрования.

Недавний конфликт с Apple это наглядно показал. Получив требование предоставить доступ к зашифрованным данным iCloud, компания предпочла просто отключить Advanced Data Protection для пользователей в Великобритании, чем ослаблять защиту. Этот шаг встревожил и правозащитников, и другие ИТ-компании.

На парламентских обсуждениях власти всё чаще говорят о «жёстком контроле», обсуждают VPN и другие инструменты конфиденциальности, а аргументы о рисках вроде клиентского сканирования часто остаются без внимания. Для государства шифрование — это помеха, для журналистов, активистов и обычных пользователей — базовый механизм безопасности.

И хотя пока речь идёт лишь о юридических интерпретациях, сигнал понятен: противостояние между британскими властями и зашифрованными платформами никуда не делось — и, судя по всему, в ближайшее время станет ещё острее.

Напомним, на днях в Сеть выложили инструмент для отслеживания пользователей WhatsApp по номеру телефона. Кроме того, набирает обороты схема скрытого захвата аккаунтов WhatsApp — GhostPairing.

RSS: Новости на портале Anti-Malware.ru