Ошибка ChatGPT привела к утечке личных промптов в Google Search Console

Ошибка ChatGPT привела к утечке личных промптов в Google Search Console

Ошибка ChatGPT привела к утечке личных промптов в Google Search Console

Несколько месяцев подряд в Google Search Console — инструменте, который веб-мастера используют для анализа поискового трафика, — появляются очень странные запросы. Вместо привычных коротких ключевых слов там стали попадаться целые абзацы текста — личные обращения пользователей к ChatGPT.

Иногда длина таких «запросов» превышала 300 символов, а по содержанию они выглядели как частные разговоры: кто-то спрашивал совет по отношениям, кто-то обсуждал рабочие вопросы.

Проблему первым заметил аналитик Джейсон Пакер из компании Quantable. Он опубликовал запись в блоге, где рассказал о десятках подобных случаев, а позже объединился с SEO-экспертом Слободаном Маничем, чтобы разобраться, откуда берутся эти данные.

По их версии, найденной утечке нет аналогов: ChatGPT будто бы напрямую отправлял пользовательские запросы в Google Search, а затем те каким-то образом оказывались в отчётах GSC. Эксперты уверены, что речь идёт о «первом доказательстве того, что OpenAI действительно обращается к поиску Google с реальными пользовательскими промптами».

OpenAI комментировать гипотезу напрямую отказалась, но подтвердила, что «осведомлена о проблеме» и уже исправила ошибку, которая якобы «затронула небольшое количество поисковых запросов».

Пакер, впрочем, не убеждён, что всё так просто. Он считает, что компания не дала прямого ответа на главный вопрос — действительно ли OpenAI сканировала Google и передавала туда пользовательские промпты. Google ситуацию не прокомментировала.

Первые утёкшие фразы Пакер заметил ещё в сентябре. Среди них — поток сознания от девушки, пытавшейся понять, нравится ли она парню, и деловое сообщение офис-менеджера, обсуждающего возвращение сотрудников в офис. Всего Пакер насчитал около двухсот подобных записей только на одном сайте.

Дальнейшее расследование показало, что все эти запросы начинались с одинакового URL:
https://openai.com/index/chatgpt/

Google, как предполагают исследователи, разделил адрес на отдельные слова — openai, index, chatgpt — и начал воспринимать их как поисковый запрос. Из-за этого сайты, которые хорошо ранжировались по этим словам, начали видеть в своей консоли чужие фразы пользователей ChatGPT.

Пакер и Манич полагают, что причиной стала ошибка в одном из интерфейсов ChatGPT. При вводе запроса на странице с параметром hints=search модель почти всегда выполняла реальный поиск в интернете — и использовала при этом Google. Из-за сбоя ChatGPT добавлял к поисковому запросу часть адреса страницы и передавал всё это в Google как обычный поисковый запрос.

Поскольку запросы не шли через API, а именно через открытый поиск, они начали появляться в отчётах Search Console у тех сайтов, которые Google выбрал в результатах.

Пакер считает, что так утекали все промпты, где ChatGPT принимал решение искать сделать поиск в Google. OpenAI заявила, что инцидент затронул «небольшое количество запросов», но не уточнила, сколько именно пользователей могли пострадать.

Ранее уже была похожая история, когда пользовательские чаты ChatGPT попадали в индекс Google. Тогда OpenAI объяснила, что пользователи сами «неосознанно» сделали их публичными, поставив соответствующую галочку.

В этот раз, подчёркивает Пакер, всё гораздо хуже: никто ничего не публиковал добровольно. Пользователи просто писали запросы — и часть этих сообщений могла оказаться в инструментах аналитики чужих сайтов.

Эксперты называют ситуацию «менее опасной, но куда более странной». И хотя OpenAI утверждает, что проблема уже устранена, Пакер и Манич уверены: вопросов всё ещё больше, чем ответов.

Главный из них — перестала ли OpenAI вообще использовать Google Search для сбора данных, или просто изменила способ отправки запросов. Пока компания этого не уточнила.

Нейросети и ДНК: ИИ-лидеры просят закрыть лазейку для биооружия

В ИИ-индустрии произошло почти невероятное событие. Главы OpenAI, Anthropic, Google DeepMind и Microsoft AI выступили единым фронтом и попросили Конгресс США срочно ужесточить правила продажи синтетической ДНК и РНК.

3 июня Сэм Альтман, Дарио Амодеи, Демис Хассабис и Мустафа Сулейман подписали открытое письмо, в котором призвали обязать компании, занимающиеся синтезом генетического материала, проверять не только сами заказы, но и их заказчиков.

Причина проста: ИИ становится слишком хорошим помощником. Авторы письма опасаются, что современные языковые модели постепенно снижают порог входа в область биотехнологий.

Если раньше потенциальному злоумышленнику требовались серьёзные знания в биологии, то теперь часть информации может подсказать нейросеть: где искать нужные гены, как формулировать запросы и каким образом обходить существующие механизмы проверки.

Впрочем, паники в письме нет. Подписанты отдельно подчёркивают, что современные ИИ-модели пока не способны самостоятельно разработать полноценный патоген с нуля. Для этого всё ещё нужны профессиональные знания и практические навыки.

Но проблема, по их мнению, в другом: защитные барьеры постепенно размываются, а значит, лучше закрывать уязвимости заранее, чем ждать первого громкого инцидента.

Особенно тревожит экспертов рынок синтетической ДНК. Сегодня заказать нужную генетическую последовательность можно сравнительно быстро и недорого. А если ИИ поможет подобрать или замаскировать опасный заказ, существующие системы контроля могут не справиться.

В качестве примера авторы приводят исследование Microsoft, опубликованное в прошлом году. Тогда ИИ-системы для проектирования белков смогли сгенерировать потенциально опасные последовательности, которые прошли мимо фильтров поставщиков. Формально это были новые белки, но по структуре они напоминали уже известные опасные образцы.

Из этого подписанты делают вывод: проверять нужно не только клиентов биотехнологических компаний, но и сами ИИ-системы. Иными словами, фильтры безопасности придётся строить сразу на нескольких уровнях.

Любопытно, что главным событием здесь многие считают даже не содержание письма, а список подписантов. Когда Альтман и Амодеи оказываются под одним документом, значит, вопрос действительно считают серьёзным.

RSS: Новости на портале Anti-Malware.ru