OpenAI будет передавать опасные чаты правоохранительным органам

OpenAI будет передавать опасные чаты правоохранительным органам

OpenAI будет передавать опасные чаты правоохранительным органам

Истории о том, как диалоги с чат-ботами заканчиваются психозами, госпитализацией или даже суицидом, уже больше года появляются в СМИ и соцсетях. На этом фоне OpenAI долгое время ограничивалась лишь общими обещаниями «улучшить защиту».

Теперь ситуация изменилась: в блоге OpenAI признала свои недоработки и сообщила, что начала сканировать пользовательские чаты на предмет опасного контента.

Если алгоритм «чует неладное», диалог попадает к небольшой команде сотрудников. А в случаях, когда модераторы видят «угрозу серьёзного физического вреда другим людям», компания может передать информацию в правоохранительные органы.

Интересный момент: о самоубийствах пока в полицию не сообщают — OpenAI объясняет это уважением к приватности и «уникально личному характеру общения с ChatGPT». Но компания открыто признаёт: да, мы читаем подозрительные чаты, а иногда делимся ими с властями.

Это, мягко говоря, выглядит противоречиво. С одной стороны, OpenAI отклоняет запросы издателей (включая New York Times), которые требуют доступ к логам переписок ради судебных разбирательств — и делает это под лозунгом защиты приватности пользователей. С другой — сама же может передавать чаты полиции.

Добавим к этому, что ещё недавно CEO Сэм Альтман честно говорил: разговор с ChatGPT как с психотерапевтом или юристом не равноценен конфиденциальной беседе с реальным специалистом. И если суды обяжут, то переписка пользователей вполне может оказаться в материалах дела.

В итоге получается странная картина: OpenAI вроде бы пытается закрыть дыры и снизить риски трагедий, но делает это так, что доверия к сервису у людей становится ещё меньше.

Яндекс выпустил систему контроля безопасности корпоративного ИИ

Yandex B2B Tech выводит на рынок AI-SPM — инструмент для непрерывной оценки защищённости корпоративных ИИ-систем. Решение должно находить опасные настройки, избыточные полномочия и доступ моделей к конфиденциальным данным до того, как этим заинтересуются уже не аудиторы, а атакующие.

О запуске рассказал «Ведомостям» генеральный директор Yandex Cloud Григорий Атрепьев.

По его словам, постоянный автоматизированный контроль становится необходимостью по мере распространения ИИ в корпоративной инфраструктуре.

AI-SPM связывает в единую карту модели, наборы данных, серверы, права доступа и обнаруженные уязвимости. Система проверяет безопасность на разных этапах жизненного цикла ИИ, выявляет риски и предлагает меры защиты.

Например, она может предупредить об угрозе подмены обучающих данных, чрезмерных правах пользователя или возможности добраться до модели через специально подготовленный запрос.

При этом AI-SPM — скорее диспетчер защищённости, чем железный купол. Такие платформы непрерывно обследуют инфраструктуру и объясняют, где администраторы оставили дверь приоткрытой, но сами по себе не блокируют большинство атак. Для фильтрации запросов, предотвращения утечек и защиты от инъекций в промпт нужны отдельные средства.

Мировой рынок решений для защиты ИИ, по приведённой Атрепьевым оценке, вырастет с $2,8 млрд в 2026 году до $4,8 млрд в 2027-м. Российский сегмент пока только формируется: Yandex Cloud оценивает его объём в 1-4 млрд рублей по итогам 2026 года и допускает рост до 11–30 млрд рублей к 2029–2030 годам.

Основными заказчиками подобных продуктов станут банки, промышленные компании, ретейлеры, телеком-операторы, технологический бизнес и госструктуры.

RSS: Новости на портале Anti-Malware.ru