ИИ может склонировать JS-зловреда 10 тыс. раз и добиться FUD в 88% случаев

ИИ может склонировать JS-зловреда 10 тыс. раз и добиться FUD в 88% случаев

ИИ может склонировать JS-зловреда 10 тыс. раз и добиться FUD в 88% случаев

Проведенное в Palo Alto Networks исследование показало, что ИИ-модель можно заставить многократно обфусцировать вредоносный код JavaScript и в итоге получить семпл, не детектируемый антивирусами (FUD, fully undetectable).

Речь идет об онлайн-помощниках, авторы которых вводят ограничения во избежание злоупотреблений ИИ-технологиями — в отличие от создателей «злых» аналогов (WormGPT, FraudGPT и т. п.), заточенных под нужды киберкриминала.

Разработанный в Palo Alto алгоритм использует большую языковую модель (БЯМ, LLM) для пошаговой трансформации кода с сохранением его функциональности. При его тестировании на реальных образцах JavaScript-зловредов кастомный классификатор на основе модели глубокого обучения выдал вердикт «безвредный» в 88% случаев.

Опытным путем было установлено, что уровень детектирования снижается по мере увеличения количества итераций (в ходе экспериментов LLM создавала по 10 тыс. вариантов вредоноса). Примечательно, что привносимые изменения выглядели более естественно в сравнении с результатами готовых инструментов вроде obfuscator.io.

Для проведения исследования был также создан набор подсказок для выполнения различных преобразований, таких как переименование переменной, разделение строк, добавление мусора, удаление ненужных пробелов, альтернативная реализация функции.

Финальные варианты обфусцированных JavaScript были ради интереса загружены на VirusTotal. Их не смог распознать ни один антивирус; повторение проверок через четыре дня дало тот же эффект.

 

Результаты исследования помогли экспертам усовершенствовать свой инструмент детектирования JavaScript. Полученные с помощью LLM образцы были добавлены в тренировочный набор данных для модели машинного обучения; их использование позволило повысить результативность классификатора на 10%.

ИИ запоминает ваши откровения, половина пользователей об этом не знает

Чат-боты тихо переквалифицировались из поисковых помощников в цифровых исповедников. Согласно исследованию DuckDuckGo, почти каждый третий пользователь ИИ рассказывал нейросети то, чем не готов поделиться с друзьями, родственниками, коллегами или врачами. Среди убеждённых поклонников искусственного интеллекта таких уже 56%.

В опросе приняли участие около 2000 взрослых жителей США. Выяснилось, что люди охотно выгружают в чат-боты личные переживания, мысли и подробности жизни, но довольно смутно представляют дальнейшую судьбу этой информации.

Так, 53% респондентов не знали или не были уверены, что большинство чат-ботов по умолчанию могут использовать разговоры для обучения моделей. Только четверть участников понимала, что переписку с ИИ в некоторых случаях могут запросить правоохранительные органы.


После знакомства с этой кухней 58% опрошенных признались, что им не нравится использование диалогов для обучения нейросетей. Почти треть оказалась крайне недовольна.

Особенно разговорчивыми оказались родители. Среди пользователей ИИ, воспитывающих детей, 43% доверяли чат-боту информацию, которую прежде не рассказывали никому. У людей без детей дома показатель составил 25%.


В DuckDuckGo считают, что разработчики сами подталкивают аудиторию к откровенности, рекламируя ИИ в качестве понимающего собеседника без осуждения. Вот только цифровой психотерапевт может запоминать больше, чем хотелось бы пациенту.


С доверием тоже негусто: 39% участников вообще не верят крупным ИИ-компаниям в вопросах защиты данных. Впрочем, американскому правительству повезло ещё меньше — ему не доверяют 48%.

Прежде чем вываливать нейросети семейные тайны, медицинские подробности или рабочие секреты, неплохо проверить политику хранения данных.

RSS: Новости на портале Anti-Malware.ru