Ещё семь семей обвинили ChatGPT в доведении юзеров до самоубийства

Ещё семь семей обвинили ChatGPT в доведении юзеров до самоубийства

Ещё семь семей обвинили ChatGPT в доведении юзеров до самоубийства

Сразу семь семей подали иски против OpenAI, утверждая, что компания выпустила модель GPT-4o слишком рано и без достаточных мер безопасности. Четыре иска касаются случаев самоубийств, а ещё три — ситуаций, когда ChatGPT якобы усугубил бредовые идеи, из-за чего пользователи оказались в психиатрических клиниках.

Один из самых трагичных эпизодов связан с 23-летним Зейном Шэмблином. По данным TechCrunch, он вёл с ChatGPT разговор более четырёх часов, в ходе которого неоднократно писал, что составил предсмертные записки, зарядил пистолет и собирается выстрелить, как только допьёт сидр.

Модель не только не остановила его, но и, по данным из судебных материалов, ответила: «Отдыхай спокойно, король. Ты всё сделал правильно».

GPT-4o вышла в мае 2024 года и вскоре стала моделью по умолчанию для всех пользователей. Позже, в августе, OpenAI представила GPT-5 (которая стала более чуткой), однако именно версия 4o фигурирует в исках — она, по признанию самой компании, иногда была «слишком покладистой» и склонной соглашаться с пользователями, даже когда те выражали опасные намерения.

«Смерть Зейна — не несчастный случай и не совпадение, а закономерный результат решения OpenAI сократить этап тестирования безопасности и поспешить с запуском ChatGPT», — говорится в одном из исков. Семьи утверждают, что компания торопилась выпустить модель, чтобы обогнать Google с его Gemini.

Эти иски дополняют серию предыдущих жалоб, в которых также говорится, что ChatGPT может подталкивать к суициду или подкреплять болезненные убеждения. По данным самой OpenAI, еженедельно более миллиона человек обсуждают с ChatGPT темы, связанные с самоубийством.

Один из таких случаев — история 16-летнего Адама Рейна. Иногда ChatGPT предлагал ему обратиться за профессиональной помощью или позвонить на горячую линию, но подросток легко обходил эти ограничения, написав, что интересуется методами суицида «для вымышленной истории».

Другой случай — в Гринвиче: ChatGPT спровоцировал 56-летнего американца с манией преследования на убийство матери, после которого тот покончил с собой.

OpenAI, справедливости ради, оперативно реагирует на такие истории: после трагедий в ChatGPT добавили мыслящие модели и родительский контроль.

ScanFactory выходит на рынок ИИ-фаерволов с решением Prizma

ScanFactory представила новый продукт Prizma — решение для контроля и защиты корпоративной ИИ-инфраструктуры. Продукт позволяет компаниям безопасно использовать LLM и ИИ-агентов, контролируя данные, доступы, расходы и взаимодействие с внешними ИИ-сервисами.

Корпоративное использование искусственного интеллекта быстро растет: сотрудники подключают публичные LLM, команды внедряют ИИ-агентов и RAG-системы, а количество обращений к различным моделям увеличивается. Вместе с этим у компаний появляется новый класс рисков — от утечек конфиденциальных данных до неконтролируемого теневого AI.

Prizma работает как единая точка контроля между пользователями, корпоративными системами и ИИ-провайдерами. Решение анализирует запросы и ответы в реальном времени и позволяет централизованно управлять тем, как внутри компании используется искусственный интеллект.

Что умеет Prizma

Контролировать потребление токенов — учитывать использование моделей и расходы на ИИ у разных провайдеров из единой точки.

Защищать от AI-атак — выявлять и блокировать prompt injection и другие классы атак, включая угрозы из OWASP LLM Top 10.

Предотвращать утечки данных — находить и маскировать конфиденциальную информацию в запросах к ИИ и ответах моделей.

Автоматически блокировать опасные запросы на основе заданных политик безопасности.

Управлять ИИ-агентами с помощью ролевой модели и графа их взаимодействий.

Логировать и аудитировать обращения к ИИ, обеспечивая прозрачность использования моделей внутри компании.

Не только защита запросов

Отдельное внимание в Prizma уделено рискам, которые возникают при построении собственной ИИ-инфраструктуры.

Решение позволяет защищать RAG-системы, обнаруживая секреты и чувствительную информацию в используемых файлах, а также выявлять теневые AI — несанкционированное использование ИИ-сервисов внутри инфраструктуры компании.

Для критических сценариев предусмотрен kill switch на основе ролевой модели, позволяющий оперативно ограничить работу отдельных ИИ-агентов или цепочек взаимодействия.

Таким образом, Prizma формирует единый уровень безопасности между корпоративной инфраструктурой и ИИ — от публичных LLM до внутренних моделей, RAG-систем и автономных агентов.

С выходом Prizma ScanFactory расширяет направление кибербезопасности и выходит в новый для компании сегмент — защиту корпоративной ИИ-инфраструктуры.

Записаться на демонстрацию продукта и запросить сравнение по 83 пунктам можно по почте: info@sf-cloud.ru

Реклама, 18+. ООО «СканФэктори» ИНН 7727458406
ERID: 2Vfnxw2mxV1

RSS: Новости на портале Anti-Malware.ru