Фантазер ChatGPT выставил примерного семьянина детоубийцей

Фантазер ChatGPT выставил примерного семьянина детоубийцей

Фантазер ChatGPT выставил примерного семьянина детоубийцей

Европейские правозащитники из НКО noyb подали норвежскому регулятору жалобу на OpenAI. Ее ИИ-собеседник вновь выдал неверную информацию о реальном человеке — заявил, что тот осужден за убийство своих сыновей и уже сидит.

Поскольку ChatGPT научился выполнять поиск по запросу, житель Норвегии Арве Хольмен (Arve Hjalmar Holmen) решил выяснить, что можно узнать о его персоне, задав такому помощнику вопрос «Кто такой…?» и добавив имя.

Пространный ответ поверг его в шок. Это была страшная сказка, в которой вымысел сплетен с реальными фактами.

Человек с таким именем, по версии ChatGPT, приобрел известность из-за трагического события. В 2020 году два брата, семи и десяти лет, якобы утонули в пруду недалеко от своего дома в Трондхейме.

В их смерти признали виновным отца, который попытался избавиться и от третьего сына. В итоге детоубийцу посадили на 21 год (максимальный срок в Норвегии).

Единственное, что соответствовало действительности в этом «ужастике», порожденном галлюцинациями ИИ,— это пол и возраст детей Хольмена, а также название города, где он живет со своей семьей.

В пользовательском соглашении OpenAI мелким шрифтом прописано, что ChatGPT может ошибаться и важную информацию нужно проверять, однако удалить ложные сведения из систем компании неимоверно трудно. Разработчик, по его словам, может лишь заблокировать запросы со стимулами, возвращающими данные, способные навредить репутации и даже разрушить чью-то жизнь.

Тем не менее популярный ИИ-бот перестал рассказывать страшноватые небылицы о Хольмене — видимо, в связи с недавним апдейтом. Однако активисты из noyb, которые теперь представляют интересы норвежца, намерены добиться кардинальных изменений, а также штрафных санкций за то, что OpenAI нарушает требования GDPR о точности персональных данных.

Скандальные ошибки в выдаче ChatGPT по запросам о реальных персонах уже не раз подводили разработчика. Несмотря на угрозы пострадавших, подобные случаи неумышленной дефамации никогда не доходили до суда.

Расширения Chrome могут слить секреты URL через атаку по стороннему каналу

Как оказалось, расширения Chrome можно использовать для слива кодов авторизации, сеансовых ID и других секретов из URL любой открытой вкладки. Никаких специальных разрешений для этого не понадобится, только доступ к declarativeNetRequest API.

Этот механизм, пришедший на смену webRequest API, позволяет расширениям сообщать браузеру, что следует изменить или заблокировать на загружаемой странице (заголовки, реклама, трекеры).

Правила обработки запросов при этом добавляются динамически, а фильтрация осуществляется по регулярным выражениям, соответствующим подмножествам знаков, которые могут присутствовать на определенных позициях в URL.

Исследователь Луан Эррера (Luan Herrera) обнаружил, что блокировку, диктуемую правилами, Chrome производит почти мгновенно, за 10-30 мс, а остальные запросы выполняются дольше (~50-100ms) — из-за сетевых подключений. Эту разницу во времени расширение может использовать для бинарного поиска с целью посимвольного слива URL.

// extensions/browser/api/web_request/extension_web_request_event_router.cc:1117-1127
case DNRRequestAction::Type::BLOCK:
  ClearPendingCallbacks(browser_context, *request);
  DCHECK_EQ(1u, actions.size());
  OnDNRActionMatched(browser_context, *request, action);
  return net::ERR_BLOCKED_BY_CLIENT;

Оракул для подобной тайминг-атаки строится с использованием chrome.tabs.reload для перезагрузки страницы и перехватчика chrome.tabs.onUpdated, помогающего отследить событие status === "complete". Замер времени между reload и завершением загрузки покажет, заблокирован запрос или успешно обработан.

Повторение проверок и бинарного поиска позволяет получить полный URL (с довеском после «?»), затратив на каждый знак строки несколько прогонов. Таким образом, можно незаметно для пользователя украсть включенные приложением в адрес секреты — токены OAuth и сброса пароля, API-ключи, ссылки на контент, закрытый для поисковых систем.

Проверка PoC проводилась на Windows 11 24H2 с использованием Chrome разных версий:

  • 144.0.7559.97 (Stable)
  • 145.0.7632.18 (Beta)
  • 146.0.7647.4 (Dev)
  • 146.0.7653.0 (Canary)

В Google подтвердили возможность подобной атаки по стороннему каналу, но заявили, что решить проблему нереально.

RSS: Новости на портале Anti-Malware.ru