ИИ может склонировать JS-зловреда 10 тыс. раз и добиться FUD в 88% случаев

ИИ может склонировать JS-зловреда 10 тыс. раз и добиться FUD в 88% случаев

ИИ может склонировать JS-зловреда 10 тыс. раз и добиться FUD в 88% случаев

Проведенное в Palo Alto Networks исследование показало, что ИИ-модель можно заставить многократно обфусцировать вредоносный код JavaScript и в итоге получить семпл, не детектируемый антивирусами (FUD, fully undetectable).

Речь идет об онлайн-помощниках, авторы которых вводят ограничения во избежание злоупотреблений ИИ-технологиями — в отличие от создателей «злых» аналогов (WormGPT, FraudGPT и т. п.), заточенных под нужды киберкриминала.

Разработанный в Palo Alto алгоритм использует большую языковую модель (БЯМ, LLM) для пошаговой трансформации кода с сохранением его функциональности. При его тестировании на реальных образцах JavaScript-зловредов кастомный классификатор на основе модели глубокого обучения выдал вердикт «безвредный» в 88% случаев.

Опытным путем было установлено, что уровень детектирования снижается по мере увеличения количества итераций (в ходе экспериментов LLM создавала по 10 тыс. вариантов вредоноса). Примечательно, что привносимые изменения выглядели более естественно в сравнении с результатами готовых инструментов вроде obfuscator.io.

Для проведения исследования был также создан набор подсказок для выполнения различных преобразований, таких как переименование переменной, разделение строк, добавление мусора, удаление ненужных пробелов, альтернативная реализация функции.

Финальные варианты обфусцированных JavaScript были ради интереса загружены на VirusTotal. Их не смог распознать ни один антивирус; повторение проверок через четыре дня дало тот же эффект.

 

Результаты исследования помогли экспертам усовершенствовать свой инструмент детектирования JavaScript. Полученные с помощью LLM образцы были добавлены в тренировочный набор данных для модели машинного обучения; их использование позволило повысить результативность классификатора на 10%.

ИИ не узнал дом британского премьера: на Booking.com сдали Даунинг-стрит

Системы безопасности Booking.com не заметили ничего странного в предложении снять квартиру на Даунинг-стрит, 10 — по адресу официальной резиденции премьер-министра Великобритании. Фальшивое объявление создали исследователи организации Which?, чтобы проверить защиту платформы от мошенников.

В карточке красовались точный адрес, фотография знаменитого здания и описание «однокомнатного жилья в самом центре Лондона», всего в четырёх минутах ходьбы от парламента.

Объявление появилось 18 июня, а возможность бронирования ненадолго открыли специально для теста. И Booking.com не подвёл (правда, совсем не в том смысле).

Платформа обработала платёж за недельное проживание, причём спустя более шести недель деньги исследователю так и не вернули. Следом модерацию почти мгновенно прошёл фальшивый отзыв об исключительном отдыхе и общении с котом Ларри, официальным мышеловом резиденции.

На этом аттракцион доверчивости не закончился. Через внутренний чат Booking.com исследователи отправили внешнюю ссылку с просьбой ввести данные банковской карты якобы для подтверждения брони. Система, которая, по словам компании, умеет блокировать подозрительные адреса, опять решила не вмешиваться.

Объявление окончательно удалили лишь 27 августа. В Which? назвали результаты проверки свидетельством системных сбоев и призвали британского регулятора Ofcom начать расследование.

«Если сложный ИИ Booking.com не понимает, что Даунинг-стрит, 10 — не домик для отпуска, неудивительно, что мошенники так легко используют платформу», — заявил редактор Which? Travel Рори Боланд.

В Booking.com ответили, что эксперимент не отражает опыт миллионов клиентов, а объявление якобы не было публично доступно. Некоторые антифрод-механизмы поэтому не активировались.

RSS: Новости на портале Anti-Malware.ru