В американской школе ИИ принял пакет Doritos за оружие и вызвал полицию

В американской школе ИИ принял пакет Doritos за оружие и вызвал полицию

В американской школе ИИ принял пакет Doritos за оружие и вызвал полицию

В одной из школ округа Балтимор (штат Мэриленд) система безопасности с искусственным интеллектом сработала… на пакет чипсов Doritos. Алгоритм посчитал, что ученик держит в руках пистолет, и вызвал правоохранителей.

Как рассказал телеканалу WBAL старшеклассник Таки Аллен, он просто держал пакет Doritos:

«Я стоял с пакетом, двумя руками и одним пальцем наружу — они сказали, что это похоже на пистолет».

В итоге подростка заставили встать на колени, заломили руки и надели наручники.

Позже директор школы Кэти Смит сообщила родителям, что сигнал тревоги уже был отменён службой безопасности, но она об этом не знала и вызвала школьного охранника, который связался с полицией.

Компания Omnilert, управляющая системой ИИ, извинилась за произошедшее и заявила, что «сожалеет о случившемся и сочувствует ученику и всем, кого затронули эти события». При этом в Omnilert добавили, что «система сработала так, как была задумана».

Весной мы анализировали, можно ли доверять ИИ и что стоит за такими понятиями, как галлюцинации и контроль достоверности ИИ.

Microsoft Defender начал принимать обычные ссылки Google за угрозу

Microsoft изучает сбой в Defender for Office 365, из-за которого легитимные ссылки на результаты поиска Google внезапно превратились в угрозу. При попытке открыть их пользователи получают предупреждение: «Этот веб-сайт может быть небезопасен».

Инцидент зарегистрирован под номером MO1465962. В Microsoft выяснили, что причиной стала ошибочная классификация адресов: система Safe Links принимает нормальные URL Google за вредоносные и блокирует переход.

Скопировать ссылку и вставить в браузер проблему не решает — предупреждение появляется снова. Ложные срабатывания затронули не только пользователей.

Администраторы могут получать связанные уведомления и регистрировать инциденты в Microsoft Defender Portal и SIEM-платформе Microsoft Sentinel. В результате ИБ-командам приходится разбирать тревоги, за которыми скрывается не фишинговая кампания, а слишком бдительный фильтр.

Safe Links защищает организации от фишинга, переписывая ссылки во входящих письмах и повторно проверяя их в момент перехода. Механизм работает в электронной почте, Teams и приложениях Microsoft 365. На этот раз защита решила перестраховаться и закрыла дверь перед поисковиком целиком.

Microsoft пока не раскрыла число пострадавших клиентов и затронутые регионы. Компания классифицировала проблему как advisory, что обычно указывает на ограниченный масштаб, и работает над исправлением ошибочной классификации.

RSS: Новости на портале Anti-Malware.ru