Amazon предложила решение проблемы использования системы Rekognition

Amazon предложила решение проблемы использования системы Rekognition

Amazon предложила решение проблемы использования системы Rekognition

Один из ведущих специалистов Amazon Мэтт Вуд, занимающийся искусственным интеллектом, уверен, что в процессе разработки системы распознавания лиц, которую будет использовать полиция, необходимо участие правительства в качестве контролирующего органа.

Вуд считает, что правительство должно регулировать то, как полиция и службы безопасности используют систему распознавания лиц.

С подобным заявлением разработчик выступил после критики в адрес системы Rekognition, которой ее подверг Американский союз защиты гражданских свобод.

Таким образом, в настоящий момент есть один основной вопрос — насколько можно доверять системам вроде Rekognition, насколько же они точны. Особенно этим вопросом задается чернокожее население Соединенных Штатов, так как в их случае система ошибается чаще.

Естественно, это стало проблемой в США, где расовые предрассудки продолжают существовать и по сей день.

Со своей стороны, Вуд предложил использовать настройки системы по умолчанию (а не рекомендованные). Это поможет снизить риск ложного опознания.

«Существует разница между использованием машинного обучения для идентификации, например, еды, и использованием машинного обучения для сравнения лица человека с базой преступников», — объяснил Вуд.

«В последнем случае речь идет о действительно высокой степени риска, а также о последствиях, которые может повлечь за собой ошибка. Следовательно, требуется куда более серьезный уровень доверия к системе».

К слову, не только Amazon высказалась за участие правительства в создании правил использования системы распознавания лиц правоохранительными органами. Президент Microsoft Брэд Смит в начале этого месяца призывал к тому же.

Напомним, что Американский союз защиты гражданских свобод (ACLU) провел тестирование системы распознавания лиц Rekognition от Amazon. Результаты показали, что система ошибочно определила 28 членов Конгресса как уголовников.

По словам проводивших эксперимент специалистов, они загрузили 25 000 фотографий под арестом (магшот) из публичного источника, а затем сопоставили их с официальными фотографиями всех 535 членов Конгресса.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

ИИ-помощник Claude провел для шпионов 30 атак, несколько — с успехом

Зафиксирован первый случай злоупотребления ИИ для почти полной (на 80-90%) автоматизации шпионских атак на госструктуры и крупные компании. Суммарно с помощью Claude было атаковано около 30 целей; в нескольких случаях взлом завершился успехом.

Инициатором необычной кампании, по данным Anthropic, являлась китайская APT-группа, идентифицируемая как GTG-1002. Мишени для проведения атак ее участники выбирали сами; их интересовали секреты госсектора, ИТ, финансовой сферы и химической промышленности.

Операторы ИИ-дирижера в ходе каждой многоступенчатой атаки вмешивались лишь 4-6 раз — когда надо было принять стратегическое решение по результатам выполнения задач агентскими Claude.

Эти исполнители определяли площадь атаки, сканировали целевую инфраструктуру в поисках уязвимостей, разрабатывали способы их использования и эксплойт-коды, воровали учетки и проверяли их дееспособность, собирали конфиденциальные данные.

Дискретные задачи ставились компонентам ИИ с тщательной формулировкой промптов и без раскрытия контекста, который бы мог выдать недобрые намерения.

 

Обнаружив атаки с использованием ее продукта, Anthropic запустила расследование, определила масштабы вредоносных операций и по итогам заблокировала ассоциированные аккаунты, а также уведомила потенциальных жертв и правоохранительные органы.

К счастью, в новой бочке дегтя присутствовала ложка меда: из-за склонности в галлюцинациям ИИ зачастую выдавал желаемое за действительное: рапортовал об успехах (краже актуальных учеток, обнаружении якобы неизвестных ранее уязвимостей), хотя действительность свидетельствовала об обратном.

Подобные ошибки говорят о том, что интеллектуальные помощники не способны самостоятельно проводить хакерские атаки — по крайней мере, на современном этапе развития ИИ.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru