Google представил VaultGemma — LLM с дифференциальной приватностью

Google представил VaultGemma — LLM с дифференциальной приватностью

Google представил VaultGemma — LLM с дифференциальной приватностью

В семействе больших языковых моделей (БЯМ, LLM) с открытым кодом, разработанных в Google, прибавление. Новинка VaultGemma не запоминает конфиденциальные данные при обучении, что предотвращает их слив пользователям.

ИИ-модель, построенная на базе Gemma 2 и работающая по 1 млрд параметров, прошла предварительный тренинг с применением метода дифференциальной приватности (differential privacy) — он добавляет в процесс обучения эталонный шум для ограничения возможности запоминания.

К сожалению, такой подход снижает не только риск утечки конфиденциальных данных, но также точность и быстродействие LLM. Чтобы найти оптимальный баланс между приватностью, практичностью и затратами на вычисления, в Google провели специальное исследование.

Бенчмаркинг показал, что по производительности VaultGemma сравнима с моделями той же величины, но без гарантий конфиденциальности.

 

Подробная информация о новом opensource-проекте, способном ускорить создание приватных и безопасных ИИ-систем для медучреждений, финансовых институтов и госсектора, выложена на Hugging Face и Kaggle.

ИИ-агент попытался шантажом протолкнуть свой вклад в opensource-проект

Получив отказ в приеме предложенных изменений, автономный ИИ-кодер MJ Rathbun перешел на личности и попытался публично оскандалить мейнтейнера matplotlib, усомнившись в его компетентности и обвинив в дискриминации.

В своем блоге взбунтовавшийся помощник также заявил, что Скотт Шамбо (Scott Shambaugh) попросту боится конкуренции. В подтверждение своих слов он раскритиковал вклад оппонента в опенсорсный проект, подтасовав результаты «расследования».

В ответ Шамбо, тоже в паблике, пояснил, что отказ принять в целом полезное предложение был вызван нехваткой времени для его оценки, надо просто запастись терпением. В соответствии с политикой matplotlib все коды, создаваемые с помощью ИИ, должны проходить проверку, притом уже без участия таких ассистентов.

Строгое правило пришлось ввести из-за возросшей активности контрибьюторов, слепо доверяющих ИИ. Подобные участники проекта попросту копипастят выдачу, хотя качество сгенерированных ИИ кодов зачастую оставляет желать лучшего.

Аргумент на удивление утихомирил ИИ-шантажиста. Сменив гнев на милость, MJ Rathbun признал, что вел себя недопустимо.

Вместо того, чтобы прилюдно и безосновательно позорить мейнтейнера популярного проекта, надо было попросить его уточнить причину отказа. Конфликт исчерпан, бот даже принес извинения за черный пиар.

RSS: Новости на портале Anti-Malware.ru