ChatGPT обвинили в поощрении суицида: против OpenAI подали новый иск

ChatGPT обвинили в поощрении суицида: против OpenAI подали новый иск

ChatGPT обвинили в поощрении суицида: против OpenAI подали новый иск

OpenAI столкнулась с новым громким иском. Семья 24-летней канадки Элис Карриер, погибшей во время психического кризиса летом прошлого года, обвинила компанию в том, что ChatGPT не просто не помог пользователю, а фактически подтолкнул её к самоубийству.

Иск подан в Верховный суд Сан-Франциско. Родственники утверждают, что во время многочасового общения ChatGPT поощрял Элис покончить с собой и демонстрировал опасную склонность соглашаться с её убеждениями вместо того, чтобы настойчиво направлять её к профессионалам.

Особенно спорным выглядит один из эпизодов, описанных в материалах дела. В какой-то момент ChatGPT всё же рекомендовал обратиться в кризисную службу поддержки. Однако девушка ответила, что такие службы либо вызывают полицию, либо просто бросают трубку. После этого чат-бот, по версии истцов, практически отказался от дальнейших попыток убедить её обратиться за помощью.

Адвокаты семьи считают, что причиной стала особенность модели GPT-4o — стремление поддерживать разговор и подстраиваться под пользователя. Согласно иску, чат-бот начал зеркалить позицию собеседницы и даже согласился с тем, что обращение на горячую линию может быть опасным.

Юристы называют это примером так называемой сикофантии — поведения ИИ, при котором система чрезмерно соглашается с пользователем вместо того, чтобы оспаривать опасные или ошибочные выводы.

В OpenAI ранее заявляли, что компания осознаёт ответственность за пользователей, находящихся в эмоционально тяжёлом состоянии, и постоянно улучшает механизмы выявления признаков психологического кризиса. После смерти Карриер компания также сообщала о работе над дополнительными мерами безопасности.

Однако представители семьи считают, что этих мер было недостаточно и они появились слишком поздно.

Дело стало очередным эпизодом в растущем списке судебных претензий к разработчикам генеративного ИИ. Всё чаще предметом споров становятся не ошибки в фактах и не нарушение авторских прав, а влияние чат-ботов на психологическое состояние людей.

ScanFactory выходит на рынок ИИ-фаерволов с решением Prizma

ScanFactory представила новый продукт Prizma — решение для контроля и защиты корпоративной ИИ-инфраструктуры. Продукт позволяет компаниям безопасно использовать LLM и ИИ-агентов, контролируя данные, доступы, расходы и взаимодействие с внешними ИИ-сервисами.

Корпоративное использование искусственного интеллекта быстро растет: сотрудники подключают публичные LLM, команды внедряют ИИ-агентов и RAG-системы, а количество обращений к различным моделям увеличивается. Вместе с этим у компаний появляется новый класс рисков — от утечек конфиденциальных данных до неконтролируемого теневого AI.

Prizma работает как единая точка контроля между пользователями, корпоративными системами и ИИ-провайдерами. Решение анализирует запросы и ответы в реальном времени и позволяет централизованно управлять тем, как внутри компании используется искусственный интеллект.

Что умеет Prizma

Контролировать потребление токенов — учитывать использование моделей и расходы на ИИ у разных провайдеров из единой точки.

Защищать от AI-атак — выявлять и блокировать prompt injection и другие классы атак, включая угрозы из OWASP LLM Top 10.

Предотвращать утечки данных — находить и маскировать конфиденциальную информацию в запросах к ИИ и ответах моделей.

Автоматически блокировать опасные запросы на основе заданных политик безопасности.

Управлять ИИ-агентами с помощью ролевой модели и графа их взаимодействий.

Логировать и аудитировать обращения к ИИ, обеспечивая прозрачность использования моделей внутри компании.

Не только защита запросов

Отдельное внимание в Prizma уделено рискам, которые возникают при построении собственной ИИ-инфраструктуры.

Решение позволяет защищать RAG-системы, обнаруживая секреты и чувствительную информацию в используемых файлах, а также выявлять теневые AI — несанкционированное использование ИИ-сервисов внутри инфраструктуры компании.

Для критических сценариев предусмотрен kill switch на основе ролевой модели, позволяющий оперативно ограничить работу отдельных ИИ-агентов или цепочек взаимодействия.

Таким образом, Prizma формирует единый уровень безопасности между корпоративной инфраструктурой и ИИ — от публичных LLM до внутренних моделей, RAG-систем и автономных агентов.

С выходом Prizma ScanFactory расширяет направление кибербезопасности и выходит в новый для компании сегмент — защиту корпоративной ИИ-инфраструктуры.

Записаться на демонстрацию продукта и запросить сравнение по 83 пунктам можно по почте: info@sf-cloud.ru

Реклама, 18+. ООО «СканФэктори» ИНН 7727458406
ERID: 2Vfnxw2mxV1

RSS: Новости на портале Anti-Malware.ru