Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

Подпишитесь на новости

Российская снаружи, импортная внутри: электронику проверят повторно

Производителям электроники станет сложнее однажды показать комиссии российские компоненты, получить место в государственном реестре, а затем заменить начинку дешёвыми иностранными аналогами. Власти начали проводить повторные проверки непосредственно на предприятиях.

О новой схеме контроля рассказал первый вице-премьер Денис Мантуров на форуме «Микроэлектроника — 2026», сообщает «Интерфакс».

По его словам, некоторые компании представляют для первоначальной оценки изделие, соответствующее требованиям локализации, но после включения в реестр меняют часть компонентов. В итоге оборудование остаётся российским на бумаге, а внутри постепенно переезжает за границу.

Теперь Минпромторг вместе с Росстандартом будет проверять продукцию повторно, уже на производственных площадках. Если компанию снова поймают на подмене компонентов, её предлагают исключать из реестра российской промышленной продукции на несколько лет. Правительство намерено поддержать эту инициативу.

Ответственность собираются распределить и на покупателей. Государственные и корпоративные заказчики, работающие по законам № 44-ФЗ и № 223-ФЗ, должны будут проверять, соответствует ли поставленное оборудование заявленному уровню локализации. При необходимости к экспертизе смогут привлекать Минпромторг, РСПП и профильных специалистов.

Одновременно власти переходят к балльной оценке происхождения продукции. Чем больше операций и компонентов локализовано в России, тем выше показатель изделия. Для телекоммуникационного оборудования такая система уже действует, а с января 2027 года её планируют распространить на интегральные микросхемы.

Российская наклейка, таким образом, перестаёт быть пожизненной индульгенцией. Теперь придётся доказывать происхождение электроники не только перед входом в реестр, но и после — когда коробка уже открыта.

RSS: Новости на портале Anti-Malware.ru