Модераторы подфорума Change My View («Измени мое мнение», CMV) в Reddit направили жалобу в Цюрихский университет: группа исследователей тайно провела эксперимент с ИИ, в котором невольно приняло участие все сообщество.
ИИ-модель два месяца вбрасывала провокационные комментарии в ветку; ученые таким образом проверяли ее умение убеждать. По окончании эксперимента они соблаговолили поставить модераторов в известность и сознались в нарушении правил CMV (там запрещено использовать боты и ИИ).
Для публикации реплик исследователи создали ряд вымышленных персонажей — жертв насилия, консультантов-психологов, противников сектантства и протестных движений. Некоторые фейковые аккаунты админы Reddit выловили и забанили за нарушение пользовательского соглашения.
Сами исследователи, по их словам, комментарии не постили, только вручную проверяли каждую реплику ИИ на предмет потенциально вредного контента. Для персонализации реплик другая ИИ-модель собирала в Reddit пользовательские данные, такие как пол, возраст, этническая принадлежность, местоположение, политические взгляды.
Согласия «подопытных кроликов» при этом никто не спрашивал — для чистоты эксперимента.
Получив разъяснительное письмо, модераторы CMV направили в университет официальную жалобу, предложив публично извиниться за неэтичное поведение исследователей и отказаться от публикации результатов эксперимента.
В ответ на претензии представитель вуза заявил, что научному руководителю ИИ-проекта объявлен выговор. Также будут приняты меры, чтобы подобного не повторилось, но отменять публикацию никто не собирается: результаты проделанной работы важны для науки, а вред от эксперимента минимален.
И претензии, и реакция учебного заведения были опубликованы в CMV. Пользователи до сих пор комментируют этот пост, высказывая свое возмущение.
Сергей Хайрук, аналитик InfoWatch:
«С начала 2014 года мы зафиксировали чуть менее 80 утечек данных из американских учебных заведений. В подавляющем большинстве это утечки злонамеренного характера. Злоумышленники буквально охотятся за персональными данными студентов, преподавателей, выпускников, пользуясь относительно слабой защитой ПДн в вузах. Так в феврале 2014 года стало известно об инциденте в университете Северной Дакоты. Тогда утекло около 300 тыс. записей. От столь же масштабной утечки пострадал университет Мэриленда. Данные 146 тыс. человек скомпрометированы в университете Индианы. Если несколько лет назад сравнительно большая доля утечек из учебных заведений объяснялась халатностью персонала, сейчас впору говорить о целенаправленном интересе мошенников к университетским базам данных».