OpenAI вводит проверку возраста в ChatGPT для защиты подростков

OpenAI вводит проверку возраста в ChatGPT для защиты подростков

OpenAI вводит проверку возраста в ChatGPT для защиты подростков

OpenAI готовит серьёзные изменения в работе ChatGPT — компания собирается ввести проверку возраста. Новые правила затронут всех пользователей, но в первую очередь направлены на защиту подростков. Причина в том, что ChatGPT всё чаще используют для откровенных разговоров на личные темы, включая психическое здоровье.

В компании напоминают трагический случай: весной подросток несколько часов обсуждал с чат-ботом тему суицида, а затем покончил с собой. Семья подала в суд, и OpenAI решила усилить меры безопасности.

Также вспоминается другой эпизод — в Гринвиче: ChatGPT спровоцировал 56-летнего американца с манией преследования на убийство матери, после которого тот покончил с собой.

После этого в OpenAI заявили, что будут направлять «чувствительные» диалоги пользователей в более продуманные модели вроде GPT-5 и в ближайший месяц запустят родительский контроль

Как это будет работать

По словам Сэма Альтмана, CEO OpenAI, компания внедряет систему предсказания возраста. Алгоритм будет анализировать, как человек пользуется ChatGPT, и пытаться определить, подросток он или взрослый. Если останутся сомнения, пользователю автоматически назначат «подростковый режим». В некоторых странах и ситуациях может потребоваться подтверждение возраста с помощью документа.

Для подростков будут действовать жёсткие ограничения. Например, ChatGPT перестанет отвечать флиртом даже по запросу, а обсуждение суицида станет полностью запрещено. В случае выявления суицидальных мыслей компания оставляет за собой право обратиться к родителям или даже к властям, если родители недоступны.

Что это значит для взрослых

Взрослым пользователям, возможно, придётся смириться с тем, что их свобода частично ограничится — например, придётся подтверждать возраст. Альтман называет это «разумной ценой» ради безопасности подростков.

Почему это важно

ChatGPT и другие чат-боты всё чаще становятся собеседниками «для серьёзных разговоров» — от вопросов про здоровье и право до поиска поддержки в сложных ситуациях. Но, как отмечают исследователи из Стэнфорда, ИИ-помощники пока не справляются с ролью психотерапевта: они могут недооценить психическое состояние или дать неподходящий совет.

В HoneyCorn нашли способ устранить недостатки IoC

Даже у самых опытных специалистов по информационной безопасности есть страх, что компанию, которую они защищают, взломают. И дело тут не в уровне экспертизы или размере бюджета. В кибербезопасности инициатива почти всегда на стороне атакующего.

Методы атак развиваются быстрее, чем инструменты защиты. Ускоряется разработка эксплойтов, упрощается развёртывание атакующей инфраструктуры, сокращается время её жизни и растёт уровень маскировки.

Автоматизация, большие бюджеты киберпреступных группировок и использование нейросетей только усиливают этот тренд.

Один из ключевых инструментов защиты сегодня — индикаторы компрометации (IoC). Это машиночитаемые признаки атак: IP-адреса, хеши файлов, сигнатуры, домены, параметры фишинговых писем и другие технические артефакты. В идеале они должны быстро собираться при обнаружении новой атаки и распространяться по экосистеме, чтобы остальные компании могли заранее принять меры.

Чтобы противодействовать новым атакам сейчас, помимо прочего, используются индикаторы компрометации — это машиночитаемые паттерны, которые собираются при первой новой атаке и распространяются по всем пользователям. Это мощный, правильный и достаточно нерабочий инструмент на данный момент.

Давайте разберём почему.

  1. В классическом TI не собираются необходимые индикаторы компрометации в требуемом виде (базы паролей, используемых при брутфорсе, полные параметры фишинговых писем, семплы файлов, а также YARA-правила и хеши для инжектов и т. д.).
  2. Нет быстрой верификации индикаторов компрометации, в связи с этим — большое количество ложных срабатываний.
  3. Нет общепринятой классификации индикаторов компрометации по целевым спискам для решения всех необходимых задач и тюнинга количества ложных срабатываний.
  4. Нет единой унифицированной шины распространения индикаторов компрометации.
  5. Нет профессионального сообщества, обмена индикаторами компрометации для повышения базы сбора.
  6. Сейчас нет действенных механизмов сбора новых индикаторов без взлома реальных заказчиков.
  7. Не происходит автоматический реверс угроз нулевого дня.

И это только вершина айсберга – крутая технология становится посредственной из-за ряда практических недочётов.

В HoneyCorn заявляют, что нашли способы закрыть обозначенные пробелы. Детали проекта пока не раскрываются, однако команда приглашает к сотрудничеству других разработчиков ИБ-решений — для создания единой шины обмена индикаторами компрометации, а также компании-заказчики — для практического тестирования новых подходов.

RSS: Новости на портале Anti-Malware.ru