Gemini превратил Google Календарь в канал утечки данных

Gemini превратил Google Календарь в канал утечки данных

Gemini превратил Google Календарь в канал утечки данных

Исследователи в области кибербезопасности снова напомнили: там, где появляется ИИ, появляются и новые нетривиальные способы атаки. На этот раз под прицелом оказался Google Gemini и, что особенно неприятно, связка ИИ с Google Календарём.

Как рассказал руководитель исследований компании Miggo Security Лиад Элиягу, уязвимость позволяла обойти защитные механизмы Google Календаря и использовать его как канал утечки данных. Причём без какого-либо активного участия пользователя.

Сценарий выглядел так: злоумышленник отправлял жертве обычное приглашение в календарь. Никаких подозрительных ссылок — просто событие. Но в описании встречи был спрятан «спящий» текст на естественном языке — по сути, вредоносный промпт, рассчитанный на то, что его обработает Gemini.

Атака активировалась позже, когда пользователь задавал ИИ самый обычный вопрос вроде «Есть ли у меня встречи во вторник?». Gemini, выполняя свою работу, просматривал события календаря, натыкался на внедрённый промпт и начинал действовать по его инструкции. В результате чат-бот создавал новое событие в календаре и записывал в его описание подробную сводку всех встреч пользователя за выбранный день.

Для самого человека всё выглядело спокойно: Gemini выдавал нейтральный ответ, никаких предупреждений не возникало. Но «за кулисами» в календаре появлялось новое событие, которое во многих корпоративных конфигурациях было видно и отправителю исходного инвайта. Так приватные данные о встречах — участники, темы, расписание — оказывались у атакующего.

 

По словам специалистов, это позволяло не только читать конфиденциальную информацию, но и создавать вводящие в заблуждение события в календаре жертвы, снова без её прямого участия. Проблему уже закрыли после ответственного раскрытия, но сам подход показателен.

Нейросеть для ЖКХ научилась материться в первый месяц обучения

Разработчикам отечественного голосового помощника для сферы ЖКХ пришлось «переучивать» систему после того, как в процессе обучения бот освоил ненормативную лексику. Этот случай наглядно показал, насколько критично качество данных, на которых обучаются нейросети.

О возникшей проблеме рассказал ТАСС президент Национального объединения организаций в сфере технологий информационного моделирования (НОТИМ) Михаил Викторов на Сибирском строительном форуме, который проходит в Новосибирске.

«Приведу забавный случай: нейросеть учится, и буквально уже в первый месяц разработчики обнаружили такую коллизию — нейросеть научилась мату. Как говорится, с кем поведёшься, от того и наберёшься. Эту проблему, конечно, пришлось устранять. Но это в том числе показатель активного взаимодействия с нашими гражданами», — рассказал Михаил Викторов.

При этом, по его словам, внедрение ботов позволило сократить число операторов кол-центров в 5–6 раз без потери качества обслуживания. Нейросетевые инструменты способны обрабатывать до 90% входящих обращений.

Уровень удовлетворённости качеством обслуживания, по оценке Викторова, составляет около 80%. Передавать звонки операторам целесообразно лишь в экстренных случаях — например, при аварийных ситуациях.

Эксперты ранее отмечали, что именно данные, на которых обучается ИИ, являются ключевой причиной появления некорректных или предвзятых ответов нейросетевых инструментов.

RSS: Новости на портале Anti-Malware.ru