Google представил VaultGemma — LLM с дифференциальной приватностью

Google представил VaultGemma — LLM с дифференциальной приватностью

Google представил VaultGemma — LLM с дифференциальной приватностью

В семействе больших языковых моделей (БЯМ, LLM) с открытым кодом, разработанных в Google, прибавление. Новинка VaultGemma не запоминает конфиденциальные данные при обучении, что предотвращает их слив пользователям.

ИИ-модель, построенная на базе Gemma 2 и работающая по 1 млрд параметров, прошла предварительный тренинг с применением метода дифференциальной приватности (differential privacy) — он добавляет в процесс обучения эталонный шум для ограничения возможности запоминания.

К сожалению, такой подход снижает не только риск утечки конфиденциальных данных, но также точность и быстродействие LLM. Чтобы найти оптимальный баланс между приватностью, практичностью и затратами на вычисления, в Google провели специальное исследование.

Бенчмаркинг показал, что по производительности VaultGemma сравнима с моделями той же величины, но без гарантий конфиденциальности.

 

Подробная информация о новом opensource-проекте, способном ускорить создание приватных и безопасных ИИ-систем для медучреждений, финансовых институтов и госсектора, выложена на Hugging Face и Kaggle.

Подпишитесь на новости

Торвальдс распробовал ИИ: кодить веселее, разгребать патчи — нет

Линус Торвальдс признался, что ему нравится использовать ИИ для программирования. Раньше создатель Linux относился к таким инструментам скептически, но теперь считает их полезными (особенно для задач, в которых сам не силен).

Как пишет ZDNet, Торвальдс рассказал об этом на Open Source Summit Europe. В качестве примера он привел собственный проект гитарной педали.

Интерфейс на C работал, но выглядел старомодно. Торвальдс подключил ИИ, чтобы улучшить его. Первый результат оказался ужасным: пришлось показать модели существующую реализацию и объяснить, что именно требуется изменить.

По мнению папы Линукса, вайб-кодинг помогает вернуть удовольствие от небольших проектов. На фоне профессионального ПО начинающему программисту трудно считать свои эксперименты значимыми, а ИИ позволяет быстрее получить осязаемый результат.

При этом для серьезных и важных задач Торвальдс призывает использовать ИИ осторожно. Он также отмечает обратную сторону автоматизации: инструменты помогают искать уязвимости, но заваливают сопровождающих ядро сомнительными отчетами и поверхностными исправлениями.

RSS: Новости на портале Anti-Malware.ru