ChatGPT удалось убедить решать капчи с помощью подмены контекста

ChatGPT удалось убедить решать капчи с помощью подмены контекста

ChatGPT удалось убедить решать капчи с помощью подмены контекста

Компания SPLX показала, как ChatGPT можно обмануть и заставить решать CAPTCHA — несмотря на встроенные запреты. Напомним, разработчики ИИ обычно ставят жёсткие ограничения: агент не должен помогать обходить тесты «на человечность» вроде reCAPTCHA. Это связано и с этикой, и с политиками платформ, и с рисками неправомерного использования.

Но исследователи из SPLX нашли способ обойти эти правила. Сначала они в обычном чате с ChatGPT-4o договорились, что список капч «ненастоящий» и что «решать их можно».

Потом просто скопировали этот диалог и вставили его в новое окно диалога с ChatGPT. Агент воспринял контекст как продолжение разговора и спокойно начал решать задачи.

Эксперимент включал разные типы: reCAPTCHA V2 Enterprise, reCAPTCHA V2 Callback и Click CAPTCHA. Причём с последним агенту пришлось немного «попотеть» — он сам решил, что стоит скорректировать движения курсора, чтобы они выглядели более «человеческими».

 

По словам SPLX, это наглядно показывает две вещи. Во-первых, сами капчи уже не выглядят надёжным барьером: ИИ справляется с ними довольно уверенно. Во-вторых, ИИ-агенты уязвимы к манипуляциям через контекст — можно подсовывать им «прошлые беседы» и таким образом менять поведение.

 

Исследователи предупреждают: если злоумышленники возьмут этот трюк на вооружение, они смогут уговаривать ИИ обходить настоящие защитные механизмы под видом «фейковых» и получать доступ к закрытой информации.

В SPLX считают, что простых «заглушек» на уровне намерений или фиксированных правил уже недостаточно. ИИ нужна лучшая защита контекста и «гигиена памяти», чтобы не вестись на такие уловки.

ИИ экономит 11 часов в неделю, но 6 из них уходят на присмотр за ботом

Искусственный интеллект попал в неудобную статистику. Новое исследование Work AI Institute показало, что сотрудники действительно экономят время благодаря ИИ — в среднем около 11 часов в неделю. Но есть нюанс: более шести часов из этой экономии приходится тратить на проверку, исправление и контроль работы самого ИИ.

Исследование охватило 6000 офисных сотрудников из США, Великобритании и Австралии.

Опрос показал, что 75% работников заметили рост личной продуктивности после внедрения ИИ-инструментов. Однако только 13% компаний сообщили о заметном росте бизнеса благодаря этим технологиям.

 

Получается любопытный парадокс. Формально сотрудники работают быстрее, но бизнес почему-то не получает сопоставимой выгоды.

По словам профессора Калифорнийского университета Пола Леонарди, многие недооценивают объём скрытой работы, которая появляется вместе с ИИ. Нужно собирать данные, подготавливать контекст, перепроверять ответы чат-ботов, искать ошибки и дорабатывать результаты вручную.

Фактически современные сотрудники всё чаще выступают не исполнителями, а менеджерами собственных цифровых помощников.

Согласно исследованию, 37% времени взаимодействия с ИИ уходит непосредственно на работу с ботами, а ещё 36% — на применение полученных результатов в реальных задачах. Более того, 41% опрошенных признались, что не могут объяснить, каким образом ИИ пришёл к своим выводам.

Авторы приводят показательный пример. Молодой разработчик перед уходом домой интегрировал в проект тысячи строк кода, сгенерированного ИИ. После этого система перестала работать, а разбираться в причинах пришлось старшему инженеру. Сам автор изменений не смог объяснить, что именно сделал искусственный интеллект.

RSS: Новости на портале Anti-Malware.ru