NUIT: эксперты показали атаку на топовых голосовых помощников

NUIT: эксперты показали атаку на топовых голосовых помощников

NUIT: эксперты показали атаку на топовых голосовых помощников

Исследователи из Американского университета разработали новый вектор атаки, получивший название «Near-Ultrasound Inaudible Trojan» (NUIT). Он направлен на устройства, оснащённые голосовыми помощниками: смартфоны, «умные» колонки и другие IoT-девайсы.

В своём отчёте специалисты продемонстрировали, как NUIT работает против современных голосовых помощников, установленных на миллионах устройств. Сюда вошла и Siri от Apple, и Google Assistant, а также Cortana от Microsoft и Alexa от Amazon.

Основная опасность NUIT заключается во взаимодействии со встроенным микрофоном атакуемого девайса. Как правило, такие микрофоны могут реагировать на ультразвуковые волны, которые недоступны человеческому уху. Это позволяет провести атаку максимально незаметно для жертвы и использовать при этом обычный динамик.

Как объясняют исследователи, NUIT можно реализовать на веб-сайтах, воспроизводящих медиафайлы или YouTube-видео. В этом случае остаётся заставить пользователя посетить такой ресурс.

В целом существует два метода запуска атаки NUIT:

  1. NUIT-1 — когда девайс является одновременно источником и целью атаки. Например, злоумышленник проигрывает аудиофайл на смартфоне жертвы и таким образом заставляет устройство совершить определённое действие (открыть дверь гаража или отправить текстовое сообщение).
  2. NUIT-2 — когда атака запускается на одном девайсе, а целью является другой.

«Если вы способны посмотреть YouTube-видео на своём “умном“ телевизоре, значит, у него есть динамики. Звук вредоносных команд NUIT не будет слышен вам, но при этом сможет дойти до мобильного телефона и взаимодействовать с голосовыми помощниками», — рассказывает один из экспертов.

«Такую атаку можно запустить даже посредством Zoom во время видеовстреч. Некий злоумышленник может внедрить сигнал атаки и взломать телефон собеседника».

На демонстрацию NUIT можно посмотреть на выложенных видеороликах:

ИИ сказал — ты согласился: учёные описали феномен когнитивной капитуляции

Исследователи из Университета Пенсильвании предложили новое объяснение тому, как люди взаимодействуют с ИИ. По их мнению, всё чаще пользователи не просто пользуются нейросетями, а буквально «сдаются» им. Этот феномен специалисты назвали «когнитивной капитуляцией» (cognitive surrender).

Если раньше люди использовали технологии вроде калькуляторов или GPS для отдельных задач — «разгружали» мозг, но сохраняли контроль, — то с ИИ ситуация меняется.

Всё чаще пользователи просто принимают ответы модели за истину, не проверяя и не анализируя их. Причём, как отмечают исследователи, это особенно заметно, если ответ звучит уверенно, гладко и без лишних сложностей. В таком случае у человека просто не включается внутренний «режим сомнения».

Чтобы проверить это, учёные провели серию экспериментов с участием более 1300 человек. Им предложили задачи на когнитивное мышление с подвохом, который требует не интуиции, а вдумчивого анализа.

Часть участников могла пользоваться ИИ-помощником, но с нюансом: модель специально давала неправильные ответы примерно в половине случаев. Результат оказался показательным.

 

Когда ИИ отвечал правильно, пользователи соглашались с ним в 93% случаев. Но даже когда он ошибался, люди всё равно принимали его ответ в 80% случаев. То есть большинство просто не перепроверяло результат, даже если он был неверным.

В среднем участники соглашались с ошибочным ИИ в 73% случаев и оспаривали его лишь в 19,7% случаев.

Более того, у тех, кто пользовался ИИ, уровень уверенности в своих ответах оказался выше — даже несмотря на то, что половина этих ответов была неправильной.

 

Интересно, что поведение менялось в зависимости от условий. Например, если участникам давали небольшие денежные стимулы за правильные ответы и мгновенную обратную связь, они чаще перепроверяли ИИ и исправляли ошибки. А вот дефицит времени, наоборот, усиливал зависимость от модели: под давлением дедлайна люди ещё охотнее доверяли ИИ.

Не все оказались одинаково уязвимы. Люди с более высоким уровнем так называемого флюидного интеллекта (fluid IQ) реже полагались на ИИ и чаще замечали его ошибки. А вот те, кто изначально воспринимал ИИ как авторитетный источник, чаще попадались на неверные ответы.

При этом сами исследователи подчёркивают: «когнитивная капитуляция» — не обязательно зло сама по себе. Если ИИ действительно работает лучше человека, логично ему доверять, особенно в задачах вроде анализа данных или оценки рисков.

Но есть важный нюанс: качество мышления в таком случае напрямую зависит от качества самой модели.

RSS: Новости на портале Anti-Malware.ru