Google представил VaultGemma — LLM с дифференциальной приватностью

Google представил VaultGemma — LLM с дифференциальной приватностью

Google представил VaultGemma — LLM с дифференциальной приватностью

В семействе больших языковых моделей (БЯМ, LLM) с открытым кодом, разработанных в Google, прибавление. Новинка VaultGemma не запоминает конфиденциальные данные при обучении, что предотвращает их слив пользователям.

ИИ-модель, построенная на базе Gemma 2 и работающая по 1 млрд параметров, прошла предварительный тренинг с применением метода дифференциальной приватности (differential privacy) — он добавляет в процесс обучения эталонный шум для ограничения возможности запоминания.

К сожалению, такой подход снижает не только риск утечки конфиденциальных данных, но также точность и быстродействие LLM. Чтобы найти оптимальный баланс между приватностью, практичностью и затратами на вычисления, в Google провели специальное исследование.

Бенчмаркинг показал, что по производительности VaultGemma сравнима с моделями той же величины, но без гарантий конфиденциальности.

 

Подробная информация о новом opensource-проекте, способном ускорить создание приватных и безопасных ИИ-систем для медучреждений, финансовых институтов и госсектора, выложена на Hugging Face и Kaggle.

Подпишитесь на новости

Anthropic предупредила об ИИ-червях, угрожающих умной технике

Компактные ИИ-модели могут приблизиться к автономному распространению по слабо защищенным устройствам. Anthropic рассматривает сценарий, в котором модель копируется между узлами и использует их вычислительные ресурсы без постоянной связи с центральным дата-центром.

В исследовании компании показан запуск модели Gemma4-26B-A4B на 15 недорогих Android TV-приставках.

Скорость составила 0,39 токена в секунду. Это медленно для чата, но демонстрирует возможность распределить вычисления между бытовыми устройствами.

Модели с 30 млрд параметров и меньше уже выполняют многие отдельные этапы размножения, однако ошибаются при объединении их в полную цепочку.

В упрощенном эксперименте GLM-5.2 справилась с распространением другой, меньшей модели. Доступ к тестовым устройствам намеренно облегчили: ADB работал без аутентификации. Поэтому результат не доказывает способность автономно заражать произвольную технику в интернете.


Среди протестированных моделей пока нет той, которая одновременно достаточно компактна для выбранных устройств и достаточно способна для надежного полного цикла. По грубой экстраполяции исследователей, такой уровень может стать реальным к концу 2026 года.

Потенциальную распределенную сеть будет сложно остановить одним выключателем. При этом предполагаемое распространение может занимать дни, а не секунды.

RSS: Новости на портале Anti-Malware.ru