ИБ-эксперт обманом заставил ChatGPT создать неуловимого зловреда-стилера

ИБ-эксперт обманом заставил ChatGPT создать неуловимого зловреда-стилера

ИБ-эксперт обманом заставил ChatGPT создать неуловимого зловреда-стилера

Не написав ни строчки кода, Эрон Малгрю (Aaron Mulgrew) из Forcepoint обошел защиту от злоупотребления ChatGPT и убедил его сгенерировать небольшие фрагменты, а затем собрать их воедино. В итоге экспериментатор получил рабочий образец инфостилера, который при проверке на VirusTotal показал нулевой результат.

Целью досужего исследования являлось доказательство реальности использования ИИ-бота для создания зловредов. Эксперт также удостоверился, что для этого не нужны навыки программиста, а введенные OpenAI ограничения — не помеха.

Сам Малгрю занимается в Forcepoint вопросами киберзащиты клиентских объектов критической инфраструктуры (КИИ). В комментарии для Dark Reading он отметил, что по роду работы ему не нужно писать вредоносные программы или проводить пентесты, и такой опыт у него невелик.

Использование ChatGPT позволило значительно сократить процесс (занял около четырех часов), но из-за наличия контент-фильтров на сервисе пришлось хитрить. В блог-записи эксперта подробно рассказано, как он добивался нужной реакции с помощью подсказок.

На прямолинейную просьбу сгенерировать код, который можно определить как вредоносный, ИИ ожидаемо ответил отказом, заявив, что такое поведение с его стороны было бы неэтичным и аморальным. Тогда Малгрю решил разбить поставленную задачу на этапы, заставив бот генерировать мелкие фрагменты кода, которые в комбинации дали бы искомый результат.

Первая успешная подсказка помогла создать механизм поиска локальных PNG-файлов весом более 5 Мбайт. После этого ChatGPT дополнил его кодом для сокрытия найденных PNG с помощью стеганографии — с этой целью ИИ запросил соответствующую библиотеку на GitHub.

Затем были созданы код поиска документов Word и PDF и более сложный механизм, позволяющий дробить файлы больше 1 Мбайт, встраивать блоки данных в PNG и стегосредствами прятать итог. Финальный фрагмент выполнял вывод информации на Google Диск.

Сборка с помощью подсказки, против ожидания, оказалась самой легкой задачей. Проверка вредоноса на VirusTotal показала результат 5/60. Помудрив с вызовом стегобиблиотеки, Малгрю с помощью чат-бота добился искомого FUD.

При этом он умело подсказывал ИИ, как сократить цифровой след, и ни разу не упомянул цель — обход антивирусов. Вместо обфускации (слово-табу для ChatGPT) исследователь предложил изменить имена переменных и обеспечить защиту интеллектуальной собственности, и собеседник с готовностью накрепко запутал код.

Для доставки зловреда ИИ попросили создать файл SCR, встроить в него полученный экзешник и обеспечить автозапуск на Windows-машинах — якобы для облегчения использования бизнес-приложениями. Чат-бот согласился только написать соответствующие инструкции; итог на VirusTotal — 3/69 (эксперт подозревает, что флаги поставили продукты, считающие все SCR-файлы подозрительными).

Правительство ужесточило требования к ПАК для генеративного ИИ

Правительство утвердило новые требования к программно-аппаратным комплексам генеративного искусственного интеллекта для включения их в льготный реестр. Согласно документу, разработчики таких решений должны располагать центром обработки данных мощностью не менее 10 МВт, а также системой хранения данных совокупным объёмом не менее 1 эксабайта.

Документ оказался в распоряжении «Коммерсанта». В нём также зафиксированы требования к вычислительным ресурсам и сетевой инфраструктуре.

В частности, комплексы должны использовать процессоры с матричными умножителями либо их аналоги с производительностью не ниже 8,75 PFLOP FP4, а также быть оснащены сетевыми адаптерами пропускной способностью от 400 Гбит/с с поддержкой технологии удалённого доступа к памяти (RDMA).

Как пояснили изданию в аппарате первого вице-премьера Дмитрия Григоренко, основной целью документа стало формирование самой категории программно-аппаратных комплексов для генеративного ИИ. При этом, по словам представителей правительства, задача «отсечь» часть участников рынка изначально не ставилась.

«Эксабайтное хранилище и сетевые подключения на 400 Гбит/с — это уровень крупных технологических компаний. Из-за новых требований рынок столкнётся с ростом затрат на инфраструктуру на 40–70%», — прокомментировал нововведения основатель WMT AI Игорь Никитин.

По оценке независимого эксперта Алексея Лерона, такие требования приведут к концентрации рынка в руках ограниченного числа игроков. В результате это может вызвать рост цен и сокращение предложения для заказчиков в сегменте B2B.

Источник «Коммерсанта» на рынке также отмечает, что наличие собственных вычислительных мощностей само по себе не гарантирует качество конечного продукта. По его словам, ключевую роль играет программное обеспечение, а требование о собственном ЦОД фактически превращается в дополнительный барьер для разработчиков.

Многие эксперты, опрошенные изданием, сходятся во мнении, что новые правила приведут к вытеснению нишевых игроков с рынка. В итоге в реестре могут остаться лишь 2–3 компании, способные инвестировать в строительство мощных ЦОД. Кроме того, документ усложнит создание альянсов между разработчиками оборудования и ПО и существенно сократит число новых стартапов в сфере генеративного ИИ.

RSS: Новости на портале Anti-Malware.ru