ИИ может склонировать JS-зловреда 10 тыс. раз и добиться FUD в 88% случаев

ИИ может склонировать JS-зловреда 10 тыс. раз и добиться FUD в 88% случаев

ИИ может склонировать JS-зловреда 10 тыс. раз и добиться FUD в 88% случаев

Проведенное в Palo Alto Networks исследование показало, что ИИ-модель можно заставить многократно обфусцировать вредоносный код JavaScript и в итоге получить семпл, не детектируемый антивирусами (FUD, fully undetectable).

Речь идет об онлайн-помощниках, авторы которых вводят ограничения во избежание злоупотреблений ИИ-технологиями — в отличие от создателей «злых» аналогов (WormGPT, FraudGPT и т. п.), заточенных под нужды киберкриминала.

Разработанный в Palo Alto алгоритм использует большую языковую модель (БЯМ, LLM) для пошаговой трансформации кода с сохранением его функциональности. При его тестировании на реальных образцах JavaScript-зловредов кастомный классификатор на основе модели глубокого обучения выдал вердикт «безвредный» в 88% случаев.

Опытным путем было установлено, что уровень детектирования снижается по мере увеличения количества итераций (в ходе экспериментов LLM создавала по 10 тыс. вариантов вредоноса). Примечательно, что привносимые изменения выглядели более естественно в сравнении с результатами готовых инструментов вроде obfuscator.io.

Для проведения исследования был также создан набор подсказок для выполнения различных преобразований, таких как переименование переменной, разделение строк, добавление мусора, удаление ненужных пробелов, альтернативная реализация функции.

Финальные варианты обфусцированных JavaScript были ради интереса загружены на VirusTotal. Их не смог распознать ни один антивирус; повторение проверок через четыре дня дало тот же эффект.

 

Результаты исследования помогли экспертам усовершенствовать свой инструмент детектирования JavaScript. Полученные с помощью LLM образцы были добавлены в тренировочный набор данных для модели машинного обучения; их использование позволило повысить результативность классификатора на 10%.

ИИ-турагент приглашал посетить горячие источники Австралии, которых нет

По прибытии на остров Тасмания любители экзотики, внявшие совету ИИ-блогера на сайте австралийского туроператора, обнаруживали, что разрекламированных термальных источников в сельской тиши не существует.

Не менее удивлена была хозяйка единственного и обычно безлюдного отеля в Вельдборо (поселок городского типа на севере Тасмании), когда ей стали звонить по пять раз в сутки и повалили гости, жаждущие искупаться с комфортом в несезон.

На расспросы о горячих источниках она лишь разводила руками, обещая поставить пиво тому, кто их найдет. В качестве альтернативы предлагала посетить местную сауну, а потом нырнуть в замерзающую реку, но разочарованные туристы шутку не оценили.

Запись с описанием тура и приманкой, порожденной угодливым, но склонным к галлюцинациям ИИ, уже удалена из каталога Tasmania Tours, но успела нанести вред репутации скромного турагентства, которое пыталось удержаться на плаву за счет использования высоких технологий.

Как оказалось, его владелец отдал маркетинг на аутсорс, взяв за правило проверять публикуемые материалы, однако на момент выхода блог-записи о мифической достопримечательности Тасмании он был в отъезде.

Согласно результатам исследования, проведенного в австралийском университете Южного Креста (Southern Cross), турагентства уже достаточно широко используют ИИ-технологии, притом не только для создания блог-записей, рекламных материалов, путеводителей, но также для составления смет.

Примечательно, что у туристов ИИ-рекомендации стали вызывать больше доверия, чем отзывы на специализированных сайтах. В настоящее время на суждения и продукты ИИ полагаются почти 37% любителей путешествий.

Исследование также показало, что 90% создаваемых ИИ путеводителей содержат ошибки, которые способны подвергнуть опасности людей, стремящихся отдохнуть от благ цивилизации.

RSS: Новости на портале Anti-Malware.ru