В одной из школ округа Балтимор (штат Мэриленд) система безопасности с искусственным интеллектом сработала… на пакет чипсов Doritos. Алгоритм посчитал, что ученик держит в руках пистолет, и вызвал правоохранителей.
Как рассказал телеканалу WBAL старшеклассник Таки Аллен, он просто держал пакет Doritos:
«Я стоял с пакетом, двумя руками и одним пальцем наружу — они сказали, что это похоже на пистолет».
В итоге подростка заставили встать на колени, заломили руки и надели наручники.
Позже директор школы Кэти Смит сообщила родителям, что сигнал тревоги уже был отменён службой безопасности, но она об этом не знала и вызвала школьного охранника, который связался с полицией.
Компания Omnilert, управляющая системой ИИ, извинилась за произошедшее и заявила, что «сожалеет о случившемся и сочувствует ученику и всем, кого затронули эти события». При этом в Omnilert добавили, что «система сработала так, как была задумана».
Весной мы анализировали, можно ли доверять ИИ и что стоит за такими понятиями, как галлюцинации и контроль достоверности ИИ.
