Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

ФСТЭК обсуждает обязательную подпись ПО с помощью российских СКЗИ

Начальник управления Федеральной службы по техническому и экспортному контролю Российской Федерации (ФСТЭК) Дмитрий Шевцов сообщил на конференции «ЦИПР-2026», что служба обсуждает необходимость введения обязательной подписи ПО с использованием отечественных криптографических средств.

Ранее источники ТАСС подтверждали, что процедура заверения кода с помощью отечественных средств криптозащиты пока находится на стадии обсуждения.

Генеральный директор Национального технологического центра цифровой криптографии (НКЦКИ) Игорь Качалин, выступая на одной из сессий конференции, отметил, что требование об обеспечении целостности ПО и его обновлений давно присутствует в документах ФСТЭК.

Он также поднял вопрос о внедрении подписи кода с использованием российских криптографических алгоритмов. В ответ Дмитрий Шевцов заявил, что соответствующая процедура уже находится на стадии экспериментов:

«В рамках этого эксперимента мы должны получить результаты, возможности внедрения соответствующих подписей. И если этот эксперимент, мы надеемся, в этом году завершится, и с положительным результатом, то тогда то, что прозвучало в вашем вопросе, Игорь Федорович, действительно будет необходимостью. Вы говорили, что именно необходимо использовать российские механизмы для реализации подписи кода».

По словам Дмитрия Шевцова, для реализации такого требования необходимо на практике отработать все механизмы. В частности, речь идёт о предоставлении подписей с использованием отечественной криптографии без задержек, а также об удобстве процедур для разработчиков. Только при соблюдении этих условий, отметил представитель ФСТЭК, такое требование можно будет сделать обязательным.

RSS: Новости на портале Anti-Malware.ru