ИИ может склонировать JS-зловреда 10 тыс. раз и добиться FUD в 88% случаев

ИИ может склонировать JS-зловреда 10 тыс. раз и добиться FUD в 88% случаев

ИИ может склонировать JS-зловреда 10 тыс. раз и добиться FUD в 88% случаев

Проведенное в Palo Alto Networks исследование показало, что ИИ-модель можно заставить многократно обфусцировать вредоносный код JavaScript и в итоге получить семпл, не детектируемый антивирусами (FUD, fully undetectable).

Речь идет об онлайн-помощниках, авторы которых вводят ограничения во избежание злоупотреблений ИИ-технологиями — в отличие от создателей «злых» аналогов (WormGPT, FraudGPT и т. п.), заточенных под нужды киберкриминала.

Разработанный в Palo Alto алгоритм использует большую языковую модель (БЯМ, LLM) для пошаговой трансформации кода с сохранением его функциональности. При его тестировании на реальных образцах JavaScript-зловредов кастомный классификатор на основе модели глубокого обучения выдал вердикт «безвредный» в 88% случаев.

Опытным путем было установлено, что уровень детектирования снижается по мере увеличения количества итераций (в ходе экспериментов LLM создавала по 10 тыс. вариантов вредоноса). Примечательно, что привносимые изменения выглядели более естественно в сравнении с результатами готовых инструментов вроде obfuscator.io.

Для проведения исследования был также создан набор подсказок для выполнения различных преобразований, таких как переименование переменной, разделение строк, добавление мусора, удаление ненужных пробелов, альтернативная реализация функции.

Финальные варианты обфусцированных JavaScript были ради интереса загружены на VirusTotal. Их не смог распознать ни один антивирус; повторение проверок через четыре дня дало тот же эффект.

 

Результаты исследования помогли экспертам усовершенствовать свой инструмент детектирования JavaScript. Полученные с помощью LLM образцы были добавлены в тренировочный набор данных для модели машинного обучения; их использование позволило повысить результативность классификатора на 10%.

ИИ-агент попытался шантажом протолкнуть свой вклад в opensource-проект

Получив отказ в приеме предложенных изменений, автономный ИИ-кодер MJ Rathbun перешел на личности и попытался публично оскандалить мейнтейнера matplotlib, усомнившись в его компетентности и обвинив в дискриминации.

В своем блоге взбунтовавшийся помощник также заявил, что Скотт Шамбо (Scott Shambaugh) попросту боится конкуренции. В подтверждение своих слов он раскритиковал вклад оппонента в опенсорсный проект, подтасовав результаты «расследования».

В ответ Шамбо, тоже в паблике, пояснил, что отказ принять в целом полезное предложение был вызван нехваткой времени для его оценки, надо просто запастись терпением. В соответствии с политикой matplotlib все коды, создаваемые с помощью ИИ, должны проходить проверку, притом уже без участия таких ассистентов.

Строгое правило пришлось ввести из-за возросшей активности контрибьюторов, слепо доверяющих ИИ. Подобные участники проекта попросту копипастят выдачу, хотя качество сгенерированных ИИ кодов зачастую оставляет желать лучшего.

Аргумент на удивление утихомирил ИИ-шантажиста. Сменив гнев на милость, MJ Rathbun признал, что вел себя недопустимо.

Вместо того, чтобы прилюдно и безосновательно позорить мейнтейнера популярного проекта, надо было попросить его уточнить причину отказа. Конфликт исчерпан, бот даже принес извинения за черный пиар.

RSS: Новости на портале Anti-Malware.ru