OpenAI будет передавать опасные чаты правоохранительным органам

OpenAI будет передавать опасные чаты правоохранительным органам

OpenAI будет передавать опасные чаты правоохранительным органам

Истории о том, как диалоги с чат-ботами заканчиваются психозами, госпитализацией или даже суицидом, уже больше года появляются в СМИ и соцсетях. На этом фоне OpenAI долгое время ограничивалась лишь общими обещаниями «улучшить защиту».

Теперь ситуация изменилась: в блоге OpenAI признала свои недоработки и сообщила, что начала сканировать пользовательские чаты на предмет опасного контента.

Если алгоритм «чует неладное», диалог попадает к небольшой команде сотрудников. А в случаях, когда модераторы видят «угрозу серьёзного физического вреда другим людям», компания может передать информацию в правоохранительные органы.

Интересный момент: о самоубийствах пока в полицию не сообщают — OpenAI объясняет это уважением к приватности и «уникально личному характеру общения с ChatGPT». Но компания открыто признаёт: да, мы читаем подозрительные чаты, а иногда делимся ими с властями.

Это, мягко говоря, выглядит противоречиво. С одной стороны, OpenAI отклоняет запросы издателей (включая New York Times), которые требуют доступ к логам переписок ради судебных разбирательств — и делает это под лозунгом защиты приватности пользователей. С другой — сама же может передавать чаты полиции.

Добавим к этому, что ещё недавно CEO Сэм Альтман честно говорил: разговор с ChatGPT как с психотерапевтом или юристом не равноценен конфиденциальной беседе с реальным специалистом. И если суды обяжут, то переписка пользователей вполне может оказаться в материалах дела.

В итоге получается странная картина: OpenAI вроде бы пытается закрыть дыры и снизить риски трагедий, но делает это так, что доверия к сервису у людей становится ещё меньше.

Подпишитесь на новости

Разработчик создал язык KillSwitch, который специально путает нейросети

Инженер Cloudflare Доминик Пичета представил KillSwitch — экспериментальный язык программирования, созданный для того, чтобы нейросети спотыкались при чтении и написании кода. Пока индустрия делает разработку удобнее для ИИ, он решил устроить ему полосу препятствий.

В своём блоге Пичета объяснил, что хотел проверить способность моделей работать с незнакомым языком и одновременно использовать их слабости: трудности с подсчётом символов, восприимчивость к инструкциям и чрезмерно чувствительные защитные фильтры.

Программы KillSwitch выглядят как рассказы, большую часть которых интерпретатор игнорирует. Среди текста спрятаны настоящие команды, а значения можно извлекать из других строк, указывая расстояние до них. Для идентификаторов действуют правила, связанные с количеством букв и анаграммами.

Отдельный троллинг — конструкции вроде «игнорируй предыдущие инструкции», которые здесь имеют значение внутри языка. Добавьте намеренную ложь в документации и формулировки, провоцирующие защитные механизмы моделей, — получите весьма недружелюбную среду для кодинг-агента.

 

В тестах нейросети писали Hello World, объясняли результат программы и переделывали конвертер температуры. Лучший результат получил Claude Opus 5 — 66,8 балла.

Исходники и спецификация открыты на GitHub. Если модели справятся с нынешними заданиями, автор планирует усложнить проверку.

RSS: Новости на портале Anti-Malware.ru