ИИ может склонировать JS-зловреда 10 тыс. раз и добиться FUD в 88% случаев

ИИ может склонировать JS-зловреда 10 тыс. раз и добиться FUD в 88% случаев

ИИ может склонировать JS-зловреда 10 тыс. раз и добиться FUD в 88% случаев

Проведенное в Palo Alto Networks исследование показало, что ИИ-модель можно заставить многократно обфусцировать вредоносный код JavaScript и в итоге получить семпл, не детектируемый антивирусами (FUD, fully undetectable).

Речь идет об онлайн-помощниках, авторы которых вводят ограничения во избежание злоупотреблений ИИ-технологиями — в отличие от создателей «злых» аналогов (WormGPT, FraudGPT и т. п.), заточенных под нужды киберкриминала.

Разработанный в Palo Alto алгоритм использует большую языковую модель (БЯМ, LLM) для пошаговой трансформации кода с сохранением его функциональности. При его тестировании на реальных образцах JavaScript-зловредов кастомный классификатор на основе модели глубокого обучения выдал вердикт «безвредный» в 88% случаев.

Опытным путем было установлено, что уровень детектирования снижается по мере увеличения количества итераций (в ходе экспериментов LLM создавала по 10 тыс. вариантов вредоноса). Примечательно, что привносимые изменения выглядели более естественно в сравнении с результатами готовых инструментов вроде obfuscator.io.

Для проведения исследования был также создан набор подсказок для выполнения различных преобразований, таких как переименование переменной, разделение строк, добавление мусора, удаление ненужных пробелов, альтернативная реализация функции.

Финальные варианты обфусцированных JavaScript были ради интереса загружены на VirusTotal. Их не смог распознать ни один антивирус; повторение проверок через четыре дня дало тот же эффект.

 

Результаты исследования помогли экспертам усовершенствовать свой инструмент детектирования JavaScript. Полученные с помощью LLM образцы были добавлены в тренировочный набор данных для модели машинного обучения; их использование позволило повысить результативность классификатора на 10%.

Нейросеть как цифровой костыль: учёные предупредили об ослаблении мышления

Активное использование искусственного интеллекта может постепенно ослаблять навыки, которые человек передаёт нейросети. К такому выводу пришли исследователи из университетов Ватерлоо, Торонто и Пердью. Впрочем, отправлять ChatGPT на костёр рано: проблема не в самом ИИ, а в привычке использовать его вместо собственной головы.

Учёные называют этот процесс когнитивной разгрузкой. Человек поручает внешнему инструменту запоминать информацию, искать решения и выстраивать рассуждения.

Результат появляется быстрее, но мозг получает меньше практики. Если так продолжается долго, самостоятельно выполнить знакомую задачу становится сложнее.

Показательный эксперимент провели почти с тысячей школьников, изучавших математику. Во время тренировок обычный помощник на базе GPT-4 улучшил их результаты на 48%.


Однако после отключения нейросети ученики написали проверочную работу на 17% хуже группы, которая занималась без ИИ. Другой вариант ИИ-репетитора работал иначе: не выдавал готовое решение, а подталкивал школьников к самостоятельному ответу. В этом случае заметного ухудшения результатов не обнаружили.


Похожий эффект исследователи наблюдали у врачей, применявших ИИ для поиска аденом во время колоноскопии. После возвращения к работе без алгоритма эффективность специалистов снизилась: показатель выявления образований упал с 28,4 до 22,4%.

Особенно опасной такая зависимость может стать в профессиях, где необходимо самостоятельно принимать сложные решения. Чем больше работы забирает алгоритм, тем реже человек тренирует собственные навыки.


Отказываться от нейросетей авторы не предлагают. Безопаснее использовать их для подсказок, объяснений, обратной связи и проверки собственных выводов.

RSS: Новости на портале Anti-Malware.ru