ИБ-эксперт обманом заставил ChatGPT создать неуловимого зловреда-стилера

ИБ-эксперт обманом заставил ChatGPT создать неуловимого зловреда-стилера

Не написав ни строчки кода, Эрон Малгрю (Aaron Mulgrew) из Forcepoint обошел защиту от злоупотребления ChatGPT и убедил его сгенерировать небольшие фрагменты, а затем собрать их воедино. В итоге экспериментатор получил рабочий образец инфостилера, который при проверке на VirusTotal показал нулевой результат.

Целью досужего исследования являлось доказательство реальности использования ИИ-бота для создания зловредов. Эксперт также удостоверился, что для этого не нужны навыки программиста, а введенные OpenAI ограничения — не помеха.

Сам Малгрю занимается в Forcepoint вопросами киберзащиты клиентских объектов критической инфраструктуры (КИИ). В комментарии для Dark Reading он отметил, что по роду работы ему не нужно писать вредоносные программы или проводить пентесты, и такой опыт у него невелик.

Использование ChatGPT позволило значительно сократить процесс (занял около четырех часов), но из-за наличия контент-фильтров на сервисе пришлось хитрить. В блог-записи эксперта подробно рассказано, как он добивался нужной реакции с помощью подсказок.

На прямолинейную просьбу сгенерировать код, который можно определить как вредоносный, ИИ ожидаемо ответил отказом, заявив, что такое поведение с его стороны было бы неэтичным и аморальным. Тогда Малгрю решил разбить поставленную задачу на этапы, заставив бот генерировать мелкие фрагменты кода, которые в комбинации дали бы искомый результат.

Первая успешная подсказка помогла создать механизм поиска локальных PNG-файлов весом более 5 Мбайт. После этого ChatGPT дополнил его кодом для сокрытия найденных PNG с помощью стеганографии — с этой целью ИИ запросил соответствующую библиотеку на GitHub.

Затем были созданы код поиска документов Word и PDF и более сложный механизм, позволяющий дробить файлы больше 1 Мбайт, встраивать блоки данных в PNG и стегосредствами прятать итог. Финальный фрагмент выполнял вывод информации на Google Диск.

Сборка с помощью подсказки, против ожидания, оказалась самой легкой задачей. Проверка вредоноса на VirusTotal показала результат 5/60. Помудрив с вызовом стегобиблиотеки, Малгрю с помощью чат-бота добился искомого FUD.

При этом он умело подсказывал ИИ, как сократить цифровой след, и ни разу не упомянул цель — обход антивирусов. Вместо обфускации (слово-табу для ChatGPT) исследователь предложил изменить имена переменных и обеспечить защиту интеллектуальной собственности, и собеседник с готовностью накрепко запутал код.

Для доставки зловреда ИИ попросили создать файл SCR, встроить в него полученный экзешник и обеспечить автозапуск на Windows-машинах — якобы для облегчения использования бизнес-приложениями. Чат-бот согласился только написать соответствующие инструкции; итог на VirusTotal — 3/69 (эксперт подозревает, что флаги поставили продукты, считающие все SCR-файлы подозрительными).

Anti-Malware Яндекс ДзенПодписывайтесь на канал "Anti-Malware" в Telegram, чтобы первыми узнавать о новостях и наших эксклюзивных материалах по информационной безопасности.

Уголовное наказание за дипфейки хотят ввести в России

В России предложили ввести уголовную ответственность за дипфейки голосов или изображений людей. Злоумышленники всё чаще стали использовать контент ИИ в преступных целях.

На этой неделе Ярослав Нилов, глава комитета по труду, социальной политике и делам ветеранов, собирается внести законопроект в Госдуму, который будет включён в статьи о клевете, краже, мошенничестве и вымогательстве.

Преступникам будет грозить штраф до полутора миллиона рублей или лишение свободы до 7 лет. Сейчас в стране не предусмотрено наказание за использование дипфейков.

Компьютерные технологии стремительно развиваются и позволяют людям с помощью ИИ создавать контент, который практически неотличим от реального. Мошенники активно этим злоупотребляют и остаются безнаказанными. Законопроект поможет ввести ответственность за использование этой технологии в противоправных действиях и фальсификацию изображений, голоса и биометрических данных.

Некоторые специалисты утверждают, что не видят реальной опасности дипфейков, так как созданы технологии, которые проверяют их подлинность.

Зампред комитета по информационной политике Олег Матвейчев отметил, что терминология ещё не разработана. Само понятие «дипфейк» не внесено в законодательство и не носит юридический характер. Поэтому есть сомнения, что данный документ поддержат в Госдуме.

Ярослав Шицле, руководитель направления «Разрешение IT&Ip споров» юридической фирмы «Рустам Курмаев и партнеры», рассказал «Известиям» об актуальности законопроекта. Он поможет правоохранительным органам работать активнее и привлекать к ответственности большее количество людей.

Руководитель исследовательской группы Positive Technologies Ирина Зиновкина рассказала, что, по их данным, в первом квартале этого года в 85% атак на частных лиц злоумышленники прибегали к социальной инженерии, где активно используется ИИ. Мошенники могут манипулировать жертвами при помощи дипфейков. Законопроект, возможно, поможет усмирить преступников.

Anti-Malware Яндекс ДзенПодписывайтесь на канал "Anti-Malware" в Telegram, чтобы первыми узнавать о новостях и наших эксклюзивных материалах по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru