Система распознавания лиц от Amazon узнала в политиках США преступников

Система распознавания лиц от Amazon узнала в политиках США преступников

Система распознавания лиц от Amazon узнала в политиках США преступников

Американский союз защиты гражданских свобод (ACLU) провел тестирование системы распознавания лиц Rekognition от Amazon. Результаты показали, что система ошибочно определила 28 членов Конгресса как уголовников.

По словам проводивших эксперимент специалистов, они загрузили 25 000 фотографий под арестом (магшот) из публичного источника, а затем сопоставили их с официальными фотографиями всех 535 членов Конгресса.

В итоге Rekognition нашла 28 совпадений, из которых 6 пришлось на чернокожих политиков. Системы распознавания лиц известны своими погрешностями при распознавании чернокожих людей.

Представители партии Congressional Black Caucus, состоящей преимущественно из афроамериканцев, давно выказывали обеспокоенность Rekognition по поводу «глубоких негативных последствий» использования такой технологии.

Проблема с ложными опознаниями, по мнению некоторых экспертов, может привести к конфликтам чернокожих граждан с правоохранительными органами. Стоит отметить, что Rekognition уже использует ряд полицейских отделений по всей Америке.

Исходя из результатов теста, ACLU призывает Конгресс пересмотреть свою позицию относительно использования правоохранителями системы распознавания лиц от Amazon.

Весь эксперимент обошелся союзу всего в $12,33.

Claude освободил 700 ГБ, удалив домашнюю папку разработчика

Разработчик Себастьен Гиймо поручил ИИ-агенту Claude написать скрипт для очистки временных файлов. Бот справился слишком эффективно: удалил домашний каталог пользователя вместе с 700 ГБ данных и результатами недельной работы, но предусмотрительно оставил папку /tmp, ради которой всё и затевалось.

Гиймо регулярно запускает ИИ-агентов, которые оставляют после себя множество временных файлов.

Он попросил модель Claude Fable создать отдельную песочницу для каждого агента в /tmp и очищать её после завершения работы, не затрагивая используемые данные.

Первая версия скрипта показалась разработчику слишком сложной. Из-за наличия команд безвозвратного удаления Claude запустил дополнительную проверку безопасности. Система Anthropic сочла задачу рискованной и автоматически понизила модель сначала до Opus 5, а затем до Opus 4.8.


Новая модель написала тест, который сравнивал цели удаления с /tmp и домашним каталогом пользователя. Обе директории были правильно признаны опасными. А затем начался этап очистки тестовых данных, и Claude повторно использовал ту же переменную, в которой находился путь к домашней папке.

Гиймо остановил процесс, но слишком поздно: агент успел удалить 700 ГБ. Большую часть информации разработчик восстановил из Git, конфигурации Nix, журналов сессий и других источников. Однако недельная работа всё же пострадала.

Разработчик предполагает, что автоматический переход на менее сильную модель мог повысить риск ошибки. Более производительная Fable 5, возможно, заметила бы конфликт переменных.

RSS: Новости на портале Anti-Malware.ru