Amazon предложила решение проблемы использования системы Rekognition

Amazon предложила решение проблемы использования системы Rekognition

Amazon предложила решение проблемы использования системы Rekognition

Один из ведущих специалистов Amazon Мэтт Вуд, занимающийся искусственным интеллектом, уверен, что в процессе разработки системы распознавания лиц, которую будет использовать полиция, необходимо участие правительства в качестве контролирующего органа.

Вуд считает, что правительство должно регулировать то, как полиция и службы безопасности используют систему распознавания лиц.

С подобным заявлением разработчик выступил после критики в адрес системы Rekognition, которой ее подверг Американский союз защиты гражданских свобод.

Таким образом, в настоящий момент есть один основной вопрос — насколько можно доверять системам вроде Rekognition, насколько же они точны. Особенно этим вопросом задается чернокожее население Соединенных Штатов, так как в их случае система ошибается чаще.

Естественно, это стало проблемой в США, где расовые предрассудки продолжают существовать и по сей день.

Со своей стороны, Вуд предложил использовать настройки системы по умолчанию (а не рекомендованные). Это поможет снизить риск ложного опознания.

«Существует разница между использованием машинного обучения для идентификации, например, еды, и использованием машинного обучения для сравнения лица человека с базой преступников», — объяснил Вуд.

«В последнем случае речь идет о действительно высокой степени риска, а также о последствиях, которые может повлечь за собой ошибка. Следовательно, требуется куда более серьезный уровень доверия к системе».

К слову, не только Amazon высказалась за участие правительства в создании правил использования системы распознавания лиц правоохранительными органами. Президент Microsoft Брэд Смит в начале этого месяца призывал к тому же.

Напомним, что Американский союз защиты гражданских свобод (ACLU) провел тестирование системы распознавания лиц Rekognition от Amazon. Результаты показали, что система ошибочно определила 28 членов Конгресса как уголовников.

По словам проводивших эксперимент специалистов, они загрузили 25 000 фотографий под арестом (магшот) из публичного источника, а затем сопоставили их с официальными фотографиями всех 535 членов Конгресса.

ФСТЭК России определилась со списком угроз для ИИ-систем

В банке данных угроз (БДУ), созданном ФСТЭК России, появился раздел о проблемах, специфичных для ИИ. Риски в отношении ИБ, связанные с качеством софта, ML-моделей и наборов обучающих данных, здесь не рассматриваются.

Угрозы нарушения конфиденциальности, целостности или доступности информации, обрабатываемой с помощью ИИ, разделены на две группы — реализуемые на этапе разработки / обучения и в ходе эксплуатации таких систем.

В инфраструктуре разработчика ИИ-систем оценки на предмет безопасности информации требуют следующие объекты:

 

Объекты, подлежащие проверке на безопасность в инфраструктуре оператора ИИ-системы:

 

Дополнительно и разработчикам, и операторам следует учитывать возможность утечки конфиденциальной информации, а также кражи, отказа либо нарушения функционирования ML-моделей.

Среди векторов возможных атак упомянуты эксплойт уязвимостей в шаблонах для ИИ, модификация промптов и конфигурации агентов, исчерпание лимита на обращения к ИИ-системе с целью вызвать отказ в обслуживании (DoS).

В комментарии для «Ведомостей» первый замдиректора ФСТЭК Виталий Лютиков пояснил, что составленный ими перечень угроз для ИИ ляжет в основу разрабатываемого стандарта по безопасной разработке ИИ-систем, который планировалась вынести на обсуждение до конца этого года.

Представленная в новом разделе БДУ детализация также поможет полагающимся на ИИ госструктурам и субъектам КИИ данных скорректировать процессы моделирования угроз к моменту вступления в силу приказа ФТЭК об усилении защиты данных в ГИС (№117, заработает с марта 2026 года).

Ужесточение требований регулятора в отношении безопасности вызвано ростом числа атак, в том числе на ИИ. В этих условиях важно учитывать не только возможности ИИ-технологий, но и сопряженные с ними риски.

RSS: Новости на портале Anti-Malware.ru