Google представил VaultGemma — LLM с дифференциальной приватностью

Google представил VaultGemma — LLM с дифференциальной приватностью

Google представил VaultGemma — LLM с дифференциальной приватностью

В семействе больших языковых моделей (БЯМ, LLM) с открытым кодом, разработанных в Google, прибавление. Новинка VaultGemma не запоминает конфиденциальные данные при обучении, что предотвращает их слив пользователям.

ИИ-модель, построенная на базе Gemma 2 и работающая по 1 млрд параметров, прошла предварительный тренинг с применением метода дифференциальной приватности (differential privacy) — он добавляет в процесс обучения эталонный шум для ограничения возможности запоминания.

К сожалению, такой подход снижает не только риск утечки конфиденциальных данных, но также точность и быстродействие LLM. Чтобы найти оптимальный баланс между приватностью, практичностью и затратами на вычисления, в Google провели специальное исследование.

Бенчмаркинг показал, что по производительности VaultGemma сравнима с моделями той же величины, но без гарантий конфиденциальности.

 

Подробная информация о новом opensource-проекте, способном ускорить создание приватных и безопасных ИИ-систем для медучреждений, финансовых институтов и госсектора, выложена на Hugging Face и Kaggle.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

OpenAI вводит проверку возраста в ChatGPT для защиты подростков

OpenAI готовит серьёзные изменения в работе ChatGPT — компания собирается ввести проверку возраста. Новые правила затронут всех пользователей, но в первую очередь направлены на защиту подростков. Причина в том, что ChatGPT всё чаще используют для откровенных разговоров на личные темы, включая психическое здоровье.

В компании напоминают трагический случай: весной подросток несколько часов обсуждал с чат-ботом тему суицида, а затем покончил с собой. Семья подала в суд, и OpenAI решила усилить меры безопасности.

Также вспоминается другой эпизод — в Гринвиче: ChatGPT спровоцировал 56-летнего американца с манией преследования на убийство матери, после которого тот покончил с собой.

После этого в OpenAI заявили, что будут направлять «чувствительные» диалоги пользователей в более продуманные модели вроде GPT-5 и в ближайший месяц запустят родительский контроль

Как это будет работать

По словам Сэма Альтмана, CEO OpenAI, компания внедряет систему предсказания возраста. Алгоритм будет анализировать, как человек пользуется ChatGPT, и пытаться определить, подросток он или взрослый. Если останутся сомнения, пользователю автоматически назначат «подростковый режим». В некоторых странах и ситуациях может потребоваться подтверждение возраста с помощью документа.

Для подростков будут действовать жёсткие ограничения. Например, ChatGPT перестанет отвечать флиртом даже по запросу, а обсуждение суицида станет полностью запрещено. В случае выявления суицидальных мыслей компания оставляет за собой право обратиться к родителям или даже к властям, если родители недоступны.

Что это значит для взрослых

Взрослым пользователям, возможно, придётся смириться с тем, что их свобода частично ограничится — например, придётся подтверждать возраст. Альтман называет это «разумной ценой» ради безопасности подростков.

Почему это важно

ChatGPT и другие чат-боты всё чаще становятся собеседниками «для серьёзных разговоров» — от вопросов про здоровье и право до поиска поддержки в сложных ситуациях. Но, как отмечают исследователи из Стэнфорда, ИИ-помощники пока не справляются с ролью психотерапевта: они могут недооценить психическое состояние или дать неподходящий совет.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru