ChatGPT удалось убедить решать капчи с помощью подмены контекста

ChatGPT удалось убедить решать капчи с помощью подмены контекста

ChatGPT удалось убедить решать капчи с помощью подмены контекста

Компания SPLX показала, как ChatGPT можно обмануть и заставить решать CAPTCHA — несмотря на встроенные запреты. Напомним, разработчики ИИ обычно ставят жёсткие ограничения: агент не должен помогать обходить тесты «на человечность» вроде reCAPTCHA. Это связано и с этикой, и с политиками платформ, и с рисками неправомерного использования.

Но исследователи из SPLX нашли способ обойти эти правила. Сначала они в обычном чате с ChatGPT-4o договорились, что список капч «ненастоящий» и что «решать их можно».

Потом просто скопировали этот диалог и вставили его в новое окно диалога с ChatGPT. Агент воспринял контекст как продолжение разговора и спокойно начал решать задачи.

Эксперимент включал разные типы: reCAPTCHA V2 Enterprise, reCAPTCHA V2 Callback и Click CAPTCHA. Причём с последним агенту пришлось немного «попотеть» — он сам решил, что стоит скорректировать движения курсора, чтобы они выглядели более «человеческими».

 

По словам SPLX, это наглядно показывает две вещи. Во-первых, сами капчи уже не выглядят надёжным барьером: ИИ справляется с ними довольно уверенно. Во-вторых, ИИ-агенты уязвимы к манипуляциям через контекст — можно подсовывать им «прошлые беседы» и таким образом менять поведение.

 

Исследователи предупреждают: если злоумышленники возьмут этот трюк на вооружение, они смогут уговаривать ИИ обходить настоящие защитные механизмы под видом «фейковых» и получать доступ к закрытой информации.

В SPLX считают, что простых «заглушек» на уровне намерений или фиксированных правил уже недостаточно. ИИ нужна лучшая защита контекста и «гигиена памяти», чтобы не вестись на такие уловки.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Мошенники используют ИИ для подделки фото ДТП с целью получения страховки

Киберполиция Санкт-Петербурга и Ленобласти со ссылкой на данные Росгосстраха предупреждает о появлении в рунете мошеннических сервисов по ИИ-генерации фото разбитых машин для получения выплат по ОСАГО и КАСКО.

Российские страховщики предлагают автомобилистам самостоятельно фиксировать ущерб от ДТП и подавать такие данные через интернет. Следящие за повесткой дня злоумышленники не могли упустить лишний шанс для обогащения, хотя их расценки пока либеральны.

Киберкопы северной столицы опубликовали рекомендации по добросовестному сбору доказательств страхового случая:

  • снимать ДТП с разных позиций и при хорошем освещении;
  • фотографировать не только повреждения, но также окружение (дорожные знаки, позиции автомашин);
  • лучше сделать видео, его сложнее сфальсифицировать;
  • в отснятых материалах должны присутствовать время, место, ФИО свидетелей ДТП и номера авто, засветившихся на месте происшествия;
  • оригиналы фото- и видеосъемки следует сохранить, а копии пересылать лишь через сервис страховой компании, левые предложения в соцсетях для этого не годятся.

Страховым компаниям как потенциальным жертвам подлога советуют тщательно проверять метаданные фото, запрашивать съемку с разных ракурсов, использовать средства детектирования фейков и целостности присланных файлов, а также обучать клиентов правилам фиксации ДТП и подачи заявлений.

При появлении подозрений на обман следует запустить проверку с привлечением правоохранительных органов. Что касается мошеннических фейков, российские ученые уже более двух лет ратуют за маркировку контента, создаваемого с помощью ИИ.

Ограничить использование ИИ-технологий также призывают российские парламентарии — в связи с рисками, которые усилиями экспертов осознали не только в России, но и за рубежом. Тем не менее, международному сообществу пока не удалось добиться консенсуса по вопросам урегулирования ИИ.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru