OpenAI: Киберпреступники использовали ChatGPT для написания вредоносов

OpenAI: Киберпреступники использовали ChatGPT для написания вредоносов

OpenAI: Киберпреступники использовали ChatGPT для написания вредоносов

Специалистам компании OpenAI удалось ликвидировать более 20 киберкампаний, в которых возможности чат-бота ChatGPT использовались для разработки вредоносных программ и организации целевого фишинга.

Отчёт OpenAI описывает активность киберпреступников с начала 2024 года и впервые официально подтверждает использование генеративных возможности ChatGPT для проведения кибератак.

Например, специалисты упоминают группу SweetSpecter, которая якобы организует кибершпионаж и атакует власти ряда стран Азии. Участники SweetSpecter тщательно готовят электронные письма для целевого фишинга, оснащая их ZIP-архивами с вредоносным содержимым.

В результате в систему жертвы попадает троян SugarGh0st, открывающий злоумышленникам удалённый доступ к устройству.

 

Кроме того, в отчёте описывается иранская кибергруппировка CyberAv3ngers, стоящая за таргетированными атаками на промышленные системы стран Запада. Злоумышленники просили ChatGPT выдать учётные данные, используемые в популярных ПЛК по умолчанию.

OpenAI отметила ещё одну иранскую группу — Storm-0817. Эта APT задействовала возможности чат-бота для отладки вредоносных программ.

«В частности, STORM-0817 использовала ChatGPT для разработки кода на стороне сервера, необходимого для установки соединений со скомпрометированными устройствами», — отмечается в отчёте (PDF).

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

В Reddit без спросу обкатали психологическое воздействие с помощью ИИ

Модераторы подфорума Change My View («Измени мое мнение», CMV) в Reddit направили жалобу в Цюрихский университет: группа исследователей тайно провела эксперимент с ИИ, в котором невольно приняло участие все сообщество.

ИИ-модель два месяца вбрасывала провокационные комментарии в ветку; ученые таким образом проверяли ее умение убеждать. По окончании эксперимента они соблаговолили поставить модераторов в известность и сознались в нарушении правил CMV (там запрещено использовать боты и ИИ).

Для публикации реплик исследователи создали ряд вымышленных персонажей — жертв насилия, консультантов-психологов, противников сектантства и протестных движений. Некоторые фейковые аккаунты админы Reddit выловили и забанили за нарушение пользовательского соглашения.

Сами исследователи, по их словам, комментарии не постили, только вручную проверяли каждую реплику ИИ на предмет потенциально вредного контента. Для персонализации реплик другая ИИ-модель собирала в Reddit пользовательские данные, такие как пол, возраст, этническая принадлежность, местоположение, политические взгляды.

Согласия «подопытных кроликов» при этом никто не спрашивал — для чистоты эксперимента.

Получив разъяснительное письмо, модераторы CMV направили в университет официальную жалобу, предложив публично извиниться за неэтичное поведение исследователей и отказаться от публикации результатов эксперимента.

В ответ на претензии представитель вуза заявил, что научному руководителю ИИ-проекта объявлен выговор. Также будут приняты меры, чтобы подобного не повторилось, но отменять публикацию никто не собирается: результаты проделанной работы важны для науки, а вред от эксперимента минимален.

И претензии, и реакция учебного заведения были опубликованы в CMV. Пользователи до сих пор комментируют этот пост, высказывая свое возмущение.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru