Red Teaming в применении к ИИ требует переосмысления

Татьяна Никитина 12 Февраля 2025 - 19:55

Системы для анализа защищенности информационных систем

...

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

Следующая главная новость »

Резервные копии не работают? Расскажем в эфире AM Live, как делать по уму. Регистрируйтесь! »

Екатерина Быстрова 12 Февраля 2026 - 13:17

Security Vision КИИ Соответствие законодательству РФ Корпорации Защита критически важных объектов Соответствие требованиям регуляторов Security Vision

Security Vision КИИ получил новые функции по требованиям ФСТЭК России

Security Vision сообщила о выходе обновлённой версии продукта Security Vision КИИ. Решение предназначено для автоматизации процессов, связанных с выполнением требований законодательства по защите критической информационной инфраструктуры.

Одно из ключевых изменений касается процесса категорирования объектов КИИ.

В систему добавлены типовые отраслевые перечни объектов, а также обновлены критерии значимости с учётом изменений в постановлении Правительства РФ № 127 (в редакции от 7 ноября 2025 года). Приведена в актуальный вид и форма сведений о результатах категорирования.

Отдельное внимание уделено расчёту экономической значимости. Теперь он автоматизирован в соответствии с рекомендациями ФСТЭК России. В расчёт включаются такие показатели, как ущерб субъекту КИИ, ущерб бюджету РФ и возможное прекращение финансовых операций.

Система не только определяет значение критерия для присвоения категории значимости, но и формирует экономические показатели, которые автоматически попадают в раздел обоснования.

Также реализована автоматическая оценка состояния технической защиты — на основе методики ФСТЭК от 11 ноября 2025 года. Продукт рассчитывает показатели по отдельным группам и определяет итоговый уровень защищённости объекта.

Расширен функционал моделирования угроз. Помимо прежнего подхода, теперь доступна оценка по общему перечню угроз из банка данных ФСТЭК с применением актуальной методики оценки угроз безопасности информации. В процессе моделирования система автоматически выстраивает возможные сценарии реализации угроз — с учётом тактик и техник — и определяет способы их реализации. Пользователь может выбрать подходящую методику моделирования.

В части отчётности добавлены отчёты по угрозам, нейтрализованным мерами защиты, а также перечень угроз, признанных неактуальными, с указанием причин. Для моделирования по общему перечню предусмотрен отдельный дашборд.

Обновлённая версия ориентирована на упрощение процедур категорирования, расчётов и подготовки отчётности для организаций, подпадающих под требования законодательства о КИИ.