ИИ может склонировать JS-зловреда 10 тыс. раз и добиться FUD в 88% случаев

ИИ может склонировать JS-зловреда 10 тыс. раз и добиться FUD в 88% случаев

ИИ может склонировать JS-зловреда 10 тыс. раз и добиться FUD в 88% случаев

Проведенное в Palo Alto Networks исследование показало, что ИИ-модель можно заставить многократно обфусцировать вредоносный код JavaScript и в итоге получить семпл, не детектируемый антивирусами (FUD, fully undetectable).

Речь идет об онлайн-помощниках, авторы которых вводят ограничения во избежание злоупотреблений ИИ-технологиями — в отличие от создателей «злых» аналогов (WormGPT, FraudGPT и т. п.), заточенных под нужды киберкриминала.

Разработанный в Palo Alto алгоритм использует большую языковую модель (БЯМ, LLM) для пошаговой трансформации кода с сохранением его функциональности. При его тестировании на реальных образцах JavaScript-зловредов кастомный классификатор на основе модели глубокого обучения выдал вердикт «безвредный» в 88% случаев.

Опытным путем было установлено, что уровень детектирования снижается по мере увеличения количества итераций (в ходе экспериментов LLM создавала по 10 тыс. вариантов вредоноса). Примечательно, что привносимые изменения выглядели более естественно в сравнении с результатами готовых инструментов вроде obfuscator.io.

Для проведения исследования был также создан набор подсказок для выполнения различных преобразований, таких как переименование переменной, разделение строк, добавление мусора, удаление ненужных пробелов, альтернативная реализация функции.

Финальные варианты обфусцированных JavaScript были ради интереса загружены на VirusTotal. Их не смог распознать ни один антивирус; повторение проверок через четыре дня дало тот же эффект.

 

Результаты исследования помогли экспертам усовершенствовать свой инструмент детектирования JavaScript. Полученные с помощью LLM образцы были добавлены в тренировочный набор данных для модели машинного обучения; их использование позволило повысить результативность классификатора на 10%.

Сторонние Android-приложения получат доступ к системе сканирования контента

Google разрабатывает общедоступный Android API, с помощью которого сторонние приложения смогут проверять изображения и другие файлы на устройстве и классифицировать их по уровню безопасности. В основе механизма лежит идея SafetyCore — системного компонента, который уже размывает интимные изображения в Google Messages.

ContentSafetyManager сможет принимать изображения, необработанные файлы и другие типы мультимедиа.

После анализа система присвоит контенту один из четырёх статусов: разрешён, требует предупреждения, заблокирован или не классифицирован. Приложение затем само решит, показать изображение, размыть его или спрятать.

Обработка должна выполняться локально (без отправки фотографий на серверы Google). При этом сам API не даёт приложению доступа ко всей галерее: соответствующие разрешения всё равно придётся получить отдельно.


Именно здесь начинается неприятная часть. Эксперты опасаются, что вредоносная программа с избыточными правами сможет прогонять через классификатор большие объёмы пользовательских файлов, составлять профили владельцев или использовать результаты анализа не по назначению. Google рекомендует разработчикам запрашивать только минимально необходимые разрешения.


Сам SafetyCore ранее вызвал скандал из-за автоматической установки без явного согласия пользователей и отсутствия обычного ярлыка. Компонент скачали более миллиарда раз, а некоторые владельцы Android устанавливают специальную заглушку, чтобы Play Store не мог вернуть его после удаления.


Google обещает локальную обработку и конфиденциальность. Пользователи задают логичный вопрос: если всё настолько безопасно, почему приложение сначала появилось на смартфоне, а объяснения — потом?

RSS: Новости на портале Anti-Malware.ru