Эксперты научились вычислять, что печатает человек во время видеозвонка

Эксперты научились вычислять, что печатает человек во время видеозвонка

Эксперты научились вычислять, что печатает человек во время видеозвонка

Специалисты Техасского и Оклахомского университетов разработали новый вектор атаки, базирующийся на вычислении клавиш, которые нажимает собеседник во время видеозвонка. По словам исследователей, метод сработает и в случае с трансляциями на YouTube или Twitch, требуется лишь одно условие — веб-камера должна захватывать верхнюю часть тела стримера.

Таким образом, эксперты берут за основу движения тела собеседника на другом конце видеозвонка. Соотнося их с видеопотоком, исследователи, по их словам, могут вычислять нажимаемые клавиши.

«Поскольку аппаратное обеспечение для захвата видео встроено практически во все современные девайсы (смартфоны, ноутбуки, планшеты), опасность утечки информации через визуальные каналы стала более реальна. Цель злоумышленников в этом случае — взять за основу язык тела, соотнести его с видеопотоком и вычислить, что жертва набирает на клавиатуре», — пишут специалисты в отчёте (PDF).

Чтобы максимально автоматизировать процесс и добиться более точных результатов, соответствующие кадры можно «скормить» специальному фреймворку, который действует по следующему алгоритму:

  1. Предварительная обработка, в процессе которой удаляется фон и видео конвертируется в оттенки серого. Далее акцент идёт на руки и лицо жертвы и подключается модель FaceBoxes.
  2. Детектирование нажатий клавиш. Здесь алгоритм использует индекс структурного сходства (SSIM, structure similarity), чтобы определить движения тела между последовательными кадрами, когда человек набирал определённый текст.
  3. Предугадывание слов. На этом этапе выделяются специальные кадры, когда собеседник набирал текст, а затем они используются для вычисления конкретного текста с помощью специального алгоритма.

 

Исследователи заявили, что тестировали этот фреймворк на 20 собеседниках (9 женщинах, 11 мужчинах), при этом использовался даже разных софт для видеозвонков: Zoom, Hangouts и Skype. Сначала эксперты задействовали управляемое окружение, а затем — уже произвольное. В последнем случае удалось точно определить 91,1% вводимых имён пользователей и 95,5% адресов электронной почты.

Вместо Siri: Apple встроит в iOS и macOS полноценный чат-бот на Gemini

В следующем «крупном» релизе своих операционных систем — как настольных, так и мобильных — Apple планирует заменить голосового помощника Siri на чат-бота Campos, основанного на модели Gemini и доработанного под экосистему компании. За использование платформы Google, по данным источников, получила от Apple более 1 млрд долларов.

О планах компании сообщил журналист Bloomberg Марк Гурман. По его информации, которая традиционно опирается на инсайды внутри Apple, Siri могут заменить на полноценного ИИ-чат-бота уже к концу текущего года.

Такое решение, как отмечает Гурман, стало ответом на продолжающуюся ИИ-гонку, в которой Apple в последние годы заметно отстала от ключевых игроков рынка.

Новый бот получит стандартный набор возможностей современных ИИ-ассистентов: веб-поиск, генерацию изображений, помощь при написании кода и анализ загруженных файлов. При этом он будет глубоко интегрирован в систему — сможет анализировать содержимое открытых окон, а также использовать пользовательские данные, хранящиеся локально на устройстве и в облаке.

Вызывать чат-бота можно будет не только голосом, как это происходит с Siri, но и с помощью боковой кнопки. Кроме того, пользователи смогут «общаться» с ним в текстовом формате — возможность, отсутствие которой долгое время оставалось одним из главных поводов для критики Siri.

По данным источников Марка Гурмана, анонс нового чат-бота запланирован на июнь, а его официальный запуск ожидается в сентябре.

При этом сама Siri продолжает развиваться. Так, в iOS 26 у неё появились функции автоответчика, включая обработку вызовов с незнакомых номеров. По информации Bloomberg, в апреле Siri также получит ещё одно крупное обновление с расширенным набором возможностей.

RSS: Новости на портале Anti-Malware.ru