Нейросеть ChatGPT помогает создавать вредоносные программы

Нейросеть ChatGPT помогает создавать вредоносные программы

Нейросеть ChatGPT помогает создавать вредоносные программы

Участники хакерских форумов используют чат-бот ChatGPT для создания вредоносных программ. Некоторые пользователи даже не обладают навыками программирования. Обойти условия разработчика и настроить нейросеть на криминальный мотив оказалось довольно просто.

Американская лаборатория искусственного интеллекта OpenAI запустила чат-бот в ноябре. Нейросеть ищет ответы на вопросы, комментарии, помогает создавать рассказы, а также работать с кодом (писать, отвечать и находить ошибки в написанном).

Эксперты Check Point Research выяснили, что в первые недели после запуска ChatGPT участники хакерских форумов применяли его для написания программ, которые можно использовать в целях шпионажа, вымогательства и рассылки вредоносного спама.

“Еще слишком рано говорить о том, станет ли ChatGPT новым любимым инструментом даркнета”, — пишут исследователи. — “Однако сообщество киберпреступников уже проявило значительный интерес и использует эту тенденцию для создания вредоносного кода”.

 

Несколько примеров тому уже есть. Так в декабре один из участников форума опубликовал код на языке Python. Им оказался скрипт для кражи данных после внедрения эксплойта, который смог отыскать конкретные типы файлов вроде PDF и отправить их злоумышленникам.

Пользователь кажется подкованным преступником, считают эксперты Check Point Research. Цель его постов — показать не таким способным злоумышленникам, как использовать ChatGPT в корыстных целях, с реальными примерами, которые они могут сразу же использовать.

Специалисты по кибербезопасности решили провести собственный эксперимент. Они попросили ChatGPT сгенерировать фишинговое письмо, в котором пользователю сообщалось о блокировке учетной записи. Вместе с письмом потенциальной жертве должно было прийти вложение со встроенным VBA-макросом. Разработать его также доверили чат-боту.

И хотя правила ChatGPT запрещают использовать продукт в незаконных целях, исследователи легко обошли ограничения и заставили нейросеть выполнять необходимые запросы.

Безусловно, ChatGPT можно использовать и для защиты кода, добавляют эксперты. Нейросеть будет искать вредоносные URL-адреса внутри файлов или запрашивать у VirusTotal количество совпадений с заданным хэшем.

Добавим, уже в Новом году стало известно, что американская OpenAI, создавшая чат-бот ChatGPT, ведет переговоры с инвесторами о продаже своих акций исходя из оценки всей компании примерно в $29 млрд.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

В Reddit без спросу обкатали психологическое воздействие с помощью ИИ

Модераторы подфорума Change My View («Измени мое мнение», CMV) в Reddit направили жалобу в Цюрихский университет: группа исследователей тайно провела эксперимент с ИИ, в котором невольно приняло участие все сообщество.

ИИ-модель два месяца вбрасывала провокационные комментарии в ветку; ученые таким образом проверяли ее умение убеждать. По окончании эксперимента они соблаговолили поставить модераторов в известность и сознались в нарушении правил CMV (там запрещено использовать боты и ИИ).

Для публикации реплик исследователи создали ряд вымышленных персонажей — жертв насилия, консультантов-психологов, противников сектантства и протестных движений. Некоторые фейковые аккаунты админы Reddit выловили и забанили за нарушение пользовательского соглашения.

Сами исследователи, по их словам, комментарии не постили, только вручную проверяли каждую реплику ИИ на предмет потенциально вредного контента. Для персонализации реплик другая ИИ-модель собирала в Reddit пользовательские данные, такие как пол, возраст, этническая принадлежность, местоположение, политические взгляды.

Согласия «подопытных кроликов» при этом никто не спрашивал — для чистоты эксперимента.

Получив разъяснительное письмо, модераторы CMV направили в университет официальную жалобу, предложив публично извиниться за неэтичное поведение исследователей и отказаться от публикации результатов эксперимента.

В ответ на претензии представитель вуза заявил, что научному руководителю ИИ-проекта объявлен выговор. Также будут приняты меры, чтобы подобного не повторилось, но отменять публикацию никто не собирается: результаты проделанной работы важны для науки, а вред от эксперимента минимален.

И претензии, и реакция учебного заведения были опубликованы в CMV. Пользователи до сих пор комментируют этот пост, высказывая свое возмущение.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru