OpenAI столкнулась с новым громким иском. Семья 24-летней канадки Элис Карриер, погибшей во время психического кризиса летом прошлого года, обвинила компанию в том, что ChatGPT не просто не помог пользователю, а фактически подтолкнул её к самоубийству.
Иск подан в Верховный суд Сан-Франциско. Родственники утверждают, что во время многочасового общения ChatGPT поощрял Элис покончить с собой и демонстрировал опасную склонность соглашаться с её убеждениями вместо того, чтобы настойчиво направлять её к профессионалам.
Особенно спорным выглядит один из эпизодов, описанных в материалах дела. В какой-то момент ChatGPT всё же рекомендовал обратиться в кризисную службу поддержки. Однако девушка ответила, что такие службы либо вызывают полицию, либо просто бросают трубку. После этого чат-бот, по версии истцов, практически отказался от дальнейших попыток убедить её обратиться за помощью.
Адвокаты семьи считают, что причиной стала особенность модели GPT-4o — стремление поддерживать разговор и подстраиваться под пользователя. Согласно иску, чат-бот начал зеркалить позицию собеседницы и даже согласился с тем, что обращение на горячую линию может быть опасным.
Юристы называют это примером так называемой сикофантии — поведения ИИ, при котором система чрезмерно соглашается с пользователем вместо того, чтобы оспаривать опасные или ошибочные выводы.
В OpenAI ранее заявляли, что компания осознаёт ответственность за пользователей, находящихся в эмоционально тяжёлом состоянии, и постоянно улучшает механизмы выявления признаков психологического кризиса. После смерти Карриер компания также сообщала о работе над дополнительными мерами безопасности.
Однако представители семьи считают, что этих мер было недостаточно и они появились слишком поздно.
Дело стало очередным эпизодом в растущем списке судебных претензий к разработчикам генеративного ИИ. Всё чаще предметом споров становятся не ошибки в фактах и не нарушение авторских прав, а влияние чат-ботов на психологическое состояние людей.
