Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

Минцифры хочет снять мораторий на проверки операторов связи

Минцифры в рамках реформы системы управления отраслью связи обсуждает возможность снятия моратория на плановые проверки операторов. Речь идёт прежде всего о контроле за установкой систем хранения записей звонков и переписки, предусмотренных «законом Яровой».

О том, что Минцифры обсуждает отмену моратория на плановые проверки операторов, сообщил РБК со ссылкой как минимум на два источника в отрасли.

Мораторий на проверки, действующий до 2030 года, был введён в 2023 году. Он допускает проведение внеплановых проверок только на объектах чрезвычайно высокого и высокого риска, к которым отрасль связи не относится.

Как утверждают источники РБК, действующий мораторий мешает проверять операторов на предмет установки систем оперативно-розыскных мероприятий (СОРМ). Причём такие системы обязаны устанавливать не только операторы связи, но и организаторы распространения информации, к которым относятся владельцы сервисов приёма, передачи и обработки пользовательских сообщений.

«Это должно пресечь практику, когда оператор создаёт новое юрлицо, работает без СОРМ несколько лет, затем закрывает это юрлицо и открывает новое, повторяя схему», — рассказал источник РБК.

Ещё одно обсуждаемое требование заключается в том, чтобы оператор связи выполнил все условия, связанные с СОРМ, ещё до начала своей деятельности. Таким образом, установка СОРМ может стать обязательным условием для выхода на рынок услуг связи. При этом внедрение такого комплекса с учётом всех необходимых согласований с регуляторами может занимать более двух лет.

Представитель Минцифры в комментарии для РБК подтвердил, что инициативы по борьбе с недобросовестными операторами связи действительно обсуждаются с бизнесом и заинтересованными ведомствами. Однако, по его словам, каких-либо окончательных решений по этому вопросу пока не принято.

RSS: Новости на портале Anti-Malware.ru