Red Teaming в применении к ИИ требует переосмысления

Татьяна Никитина 12 Февраля 2025 - 19:55

Системы для анализа защищенности информационных систем

...

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

Следующая главная новость »

Кибератака на завод: как избежать простоя и убытков?
Регистрируйтесь на эфир!

Екатерина Быстрова 10 Июня 2026 - 09:09

Общее

Let’s Encrypt может перестать выдавать сертификаты для .RU и .SU

У российских владельцев сайтов появился новый повод для беспокойства. В сообществе обратили внимание на изменения в пользовательском соглашении Let's Encrypt — крупнейшего в мире центра сертификации, который бесплатно выдаёт SSL-сертификаты для миллионов сайтов.

В новой версии (PDF) соглашения LE-SA v1.7 от 4 июня 2026 года появилась формулировка, которая может затронуть выдачу и продление сертификатов для доменов в зонах .RU и .SU.

На фоне этих обсуждений появились опасения, что российские сайты могут лишиться возможности получать или автоматически продлевать бесплатные сертификаты Let's Encrypt, которые за последние годы стали фактическим стандартом для защиты веб-ресурсов.

Ситуацию подогрело и то, что к ограничениям, по сообщениям участников рынка, присоединился другой популярный поставщик бесплатных сертификатов — ZeroSSL. Впрочем, говорить о полном отключении российских доменов пока рано.

Один из пользователей Хабра, обратившийся напрямую в Let's Encrypt за разъяснениями, получил официальный ответ от команды проекта. В нём говорится, что организация может выдавать сертификаты негосударственным структурам в России благодаря существующим исключениям в санкционном законодательстве США и специальным разрешениям Управления по контролю за иностранными активами (OFAC), направленным на поддержку свободы интернета и личных коммуникаций.

Однако ключевым словом в ответе оказалось именно «может». В юридическом смысле это означает наличие возможности, но не обязательства продолжать оказание услуг.

Поэтому вопрос о будущем сертификатов для российских доменов пока остаётся открытым. Автор запроса уже попросил Let's Encrypt уточнить позицию относительно дальнейшей выдачи и продления сертификатов.

Если ограничения всё же будут введены, последствия могут оказаться серьёзными. Let's Encrypt сегодня используется огромным количеством российских сайтов, небольших интернет-магазинов, корпоративных порталов и личных проектов. Для многих из них автоматическое продление бесплатных сертификатов давно стало привычной и практически незаметной частью работы инфраструктуры.

Кибератака на завод: как избежать простоя и убытков?
Регистрируйтесь на эфир!