Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

Уязвимость в ZenCount не устраняют почти полгода

В базе данных угроз (БДУ) ФСТЭК появилась запись о критической уязвимости в российском видеосчётчике посетителей ZenCount. Проблема может привести к удалённому получению полного доступа к системе. По состоянию на момент публикации подтверждения её устранения не было уже более 160 дней с момента обнаружения.

Как сообщил ТАСС руководитель ИБ-компании CyberOK Сергей Гордейчик, уязвимость в ZenCount обнаружил сотрудник компании Роберт Торосян в октябре 2025 года. Уже в следующем месяце информация о ней была внесена в БДУ ФСТЭК.

«По сути проблемы в карточке указан неправильный контроль доступа. Это ситуация, когда продукт не ограничивает или некорректно ограничивает доступ к ресурсу со стороны неавторизованного субъекта. Для таких ошибок последствия часто выходят далеко за рамки „частной недоработки“: они могут означать доступ к данным, изменение данных или вмешательство в работу системы», — пояснил Сергей Гордейчик характер выявленной уязвимости.

Эта уязвимость получила очень высокий уровень опасности: минимальная оценка составляет 9,8 из 10 возможных. По данным на 26 марта, как уточнил глава CyberOK, сведений об её устранении не появилось даже спустя 163 дня после обнаружения.

При этом Сергей Гордейчик не исключил, что вендор может вести непубличную работу по исправлению проблемы. Однако со стороны складывается впечатление, что производитель её игнорирует, а для критической сетевой уязвимости, которая сравнительно легко эксплуатируется по базовой модели, это выглядит плохим сигналом. В то же время он отдельно отметил, что простота эксплуатации ещё не означает массового использования этой уязвимости в реальных атаках.

Как выяснил ТАСС, в России и за её пределами развернуто более 5 тыс. устройств ZenCount. Такие решения используют различные розничные сети одежды, а также «Детский мир», МТС и «МегаФон» в своих торговых точках.

«Не стоит сводить разговор к одному конкретному разработчику. Проблема шире. Системы видеонаблюдения и видеоаналитики, доступные извне без должной защиты или с тривиальными уязвимостями, к сожалению, действительно встречаются в Рунете. И речь может идти о совершенно разных классах решений: от домовых систем и домашних камер до более серьёзных платформ видеоаналитики», — предупредил Сергей Гордейчик.

Как ранее показало исследование компании «Кибериспытание», 60% из обследованных 74 организаций можно взломать менее чем за сутки, причём в 60% случаев такая атака могла бы полностью парализовать их бизнес.

RSS: Новости на портале Anti-Malware.ru