Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Банк России назвал недостаточным уровень защиты аудиторских компаний

Банк России оценил уровень защиты аудиторских компаний, проверяющих общественно значимые организации финансового рынка (ОЗО ФР), как «слишком низкий». По мнению регулятора, это повышает риски различных инцидентов, включая утечки персональных данных. В связи с этим компаниям предписано усилить меры информационной безопасности.

Такое заключение содержится в письме, которое Банк России направил аудиторам из реестра проверяющих ОЗО ФР. Документ оказался в распоряжении «Коммерсанта».

Согласно предписанию, до 1 сентября компании должны представить в Департамент информационной безопасности Банка России план мероприятий по реализации требований, которые до сих пор не были выполнены.

Речь идет о стандарте ГОСТ 57580.1-2017. Он устанавливает базовые требования к уровню защищенности информации и ориентирован на организации финансового сектора.

Эксперты, опрошенные изданием, считают требования регулятора своевременными. Аудиторские компании, в силу своей деятельности, хранят большие объемы персональных данных. Кроме того, как напомнил генеральный директор SafeTech Lab Александр Санин, в их распоряжении находятся сведения об ИТ-инфраструктуре, используемом ПО, бизнес-процессах и финансовых показателях клиентов.

По словам ведущего аналитика отдела мониторинга ИБ компании «Спикател» Алексея Козлова, значительная часть этих данных относится к налоговой, банковской или коммерческой тайне.

Утечка подобной информации представляет ценность для злоумышленников: её можно использовать для инсайдерской торговли, шантажа или атак с применением социальной инженерии.

Козлов также отметил, что количество атак на компании финансового сектора в первом полугодии 2025 года выросло на 20–30% в годовом выражении. Это обстоятельство уже требует дополнительных мер защиты.

В то же время внедрение усиленных мер безопасности требует серьёзных затрат. Как пояснила управляющий партнёр группы компаний «Мариллион» Полина Виксне, речь идёт о комплексных проектах, включающих внедрение технических решений, разработку политик и регламентов, контроль доступа, а также обучение персонала и наём новых специалистов. Стоимость таких проектов может достигать десятков, а для крупных организаций — и сотен миллионов рублей.

По оценке партнёра ДРТ Владимира Бирюкова, в полном объёме выполнить требования регулятора смогут только крупные аудиторские компании с годовым оборотом не менее 1 млрд рублей.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru