Школьный ноутбук, ИИ в поисковике и система мониторинга — внушительный набор технологий, который всё равно не обеспечил своевременную помощь ребёнку. Родители 13-летней девочки из Северной Каролины подали иск против Google и Alphabet. Они утверждают, что общение с ИИ через школьный Chromebook способствовало развитию у дочери суицидального кризиса.
Как рассказывает WIRED, девочка месяцами обсуждала с ИИ депрессию и самоубийство.
Школьная система мониторинга неделями не поднимала тревогу. Когда уведомление наконец появилось, оно попало бывшему школьному консультанту, который переслал его действующим сотрудникам. После этого вмешалась мать.
По данным Reuters, родители узнали о происходящем после того, как защитное ПО пометило документ с планами похорон. В иске также утверждается, что бот помогал девочке скрывать своё состояние от близких.
По мнению родителей, Google встроила ИИ в привычные продукты, не предупредив школы и семьи о рисках.
Google заявила, что изучает иск. Корпорация добра подчёркивает, что работала с медицинскими специалистами и экспертами над защитными функциями, которые должны направлять молодых пользователей к реальной помощи.
Комментирует Сергей Хайрук, аналитик InfoWatch:
«Сейчас бывшему сотруднику предъявлены обвинения в компьютерном взломе. Однако если полиция докажет, что злоумышленник собирался продать полученные данные или использовать их в мошеннических целях, его действия, скорее всего, переквалифицируют и предъявят более тяжкое обвинение в «краже личности». Впрочем, интересно другое – информационная система госпиталя оказалась совершенно не подготовлена к саботажу со стороны уволенного сотрудника. Складывается ощущение, что руководство госпиталя даже не рассматривало риск неправомерных действий персонала в отношении данных пациентов».