ИИ-турагент приглашал посетить горячие источники Австралии, которых нет

ИИ-турагент приглашал посетить горячие источники Австралии, которых нет

ИИ-турагент приглашал посетить горячие источники Австралии, которых нет

По прибытии на остров Тасмания любители экзотики, внявшие совету ИИ-блогера на сайте австралийского туроператора, обнаруживали, что разрекламированных термальных источников в сельской тиши не существует.

Не менее удивлена была хозяйка единственного и обычно безлюдного отеля в Вельдборо (поселок городского типа на севере Тасмании), когда ей стали звонить по пять раз в сутки и повалили гости, жаждущие искупаться с комфортом в несезон.

На расспросы о горячих источниках она лишь разводила руками, обещая поставить пиво тому, кто их найдет. В качестве альтернативы предлагала посетить местную сауну, а потом нырнуть в замерзающую реку, но разочарованные туристы шутку не оценили.

Запись с описанием тура и приманкой, порожденной угодливым, но склонным к галлюцинациям ИИ, уже удалена из каталога Tasmania Tours, но успела нанести вред репутации скромного турагентства, которое пыталось удержаться на плаву за счет использования высоких технологий.

Как оказалось, его владелец отдал маркетинг на аутсорс, взяв за правило проверять публикуемые материалы, однако на момент выхода блог-записи о мифической достопримечательности Тасмании он был в отъезде.

Согласно результатам исследования, проведенного в австралийском университете Южного Креста (Southern Cross), турагентства уже достаточно широко используют ИИ-технологии, притом не только для создания блог-записей, рекламных материалов, путеводителей, но также для составления смет.

Примечательно, что у туристов ИИ-рекомендации стали вызывать больше доверия, чем отзывы на специализированных сайтах. В настоящее время на суждения и продукты ИИ полагаются почти 37% любителей путешествий.

Исследование также показало, что 90% создаваемых ИИ путеводителей содержат ошибки, которые способны подвергнуть опасности людей, стремящихся отдохнуть от благ цивилизации.

Без контекста детектор пропустил 95% Android-вредоносов

Чем больше разрешений просит Android-приложение, тем подозрительнее оно выглядит для алгоритма. Правда, резервному копированию, антивирусу или системе родительского контроля доступ к половине смартфона нужен по работе. Но детекторы решили не разбираться и устроили охоту на невиновных.

Исследователи из Сингапурского университета менеджмента и Нанькайского университета проверили шесть популярных детекторов, включая Drebin, MalScan и MaskDroid.

Им скормили 270 безопасных приложений из 49 категорий Google Play, каждое из которых запрашивало не менее девяти опасных разрешений.

Большинство систем записали во вредоносы больше половины выборки. LLM-детектор LAMD разогнал ложные срабатывания до 80%. Если поставить такой фильтр на входе в магазин приложений или корпоративную инфраструктуру, аналитики будут разгребать очередь, почти целиком набитую легальным софтом.

 

Проблема в старом принципе: детекторы ищут сходство с известными угрозами. Широкий набор разрешений часто встречается у зловредов, но ровно так же выглядят бэкап-сервисы, антивирусы и инструменты управления устройствами. Как сформулировали авторы работы, отклонение — ещё не вредоносность.

Их система PRAXIS пытается смотреть не только на набор API, но и на контекст. Сначала ИИ предполагает возможную атаку, затем система ищет подтверждающую цепочку вызовов в коде, а после проверяет, соответствует ли поведение назначению приложения и тексту интерфейса.

Такой подход снизил долю ложных тревог на безопасной выборке до 13%, а пропуск вредоносов — примерно до одного из девяти. Однако стоило убрать финальную проверку контекста, как система пропустила 95,3% угроз. Код остался тем же, но без ответа на вопрос «зачем приложение это делает?» защита практически развалилась.

До массового применения PRAXIS тоже далеко: анализ стоит около $0,56 за приложение, а интерфейс и названия функций может подделать сам злоумышленник. Да и 13 ложных тревог на сотню — всё ещё не автоматика, а очередь к живому аналитику.

RSS: Новости на портале Anti-Malware.ru