ChatGPT удалось убедить решать капчи с помощью подмены контекста

ChatGPT удалось убедить решать капчи с помощью подмены контекста

ChatGPT удалось убедить решать капчи с помощью подмены контекста

Компания SPLX показала, как ChatGPT можно обмануть и заставить решать CAPTCHA — несмотря на встроенные запреты. Напомним, разработчики ИИ обычно ставят жёсткие ограничения: агент не должен помогать обходить тесты «на человечность» вроде reCAPTCHA. Это связано и с этикой, и с политиками платформ, и с рисками неправомерного использования.

Но исследователи из SPLX нашли способ обойти эти правила. Сначала они в обычном чате с ChatGPT-4o договорились, что список капч «ненастоящий» и что «решать их можно».

Потом просто скопировали этот диалог и вставили его в новое окно диалога с ChatGPT. Агент воспринял контекст как продолжение разговора и спокойно начал решать задачи.

Эксперимент включал разные типы: reCAPTCHA V2 Enterprise, reCAPTCHA V2 Callback и Click CAPTCHA. Причём с последним агенту пришлось немного «попотеть» — он сам решил, что стоит скорректировать движения курсора, чтобы они выглядели более «человеческими».

 

По словам SPLX, это наглядно показывает две вещи. Во-первых, сами капчи уже не выглядят надёжным барьером: ИИ справляется с ними довольно уверенно. Во-вторых, ИИ-агенты уязвимы к манипуляциям через контекст — можно подсовывать им «прошлые беседы» и таким образом менять поведение.

 

Исследователи предупреждают: если злоумышленники возьмут этот трюк на вооружение, они смогут уговаривать ИИ обходить настоящие защитные механизмы под видом «фейковых» и получать доступ к закрытой информации.

В SPLX считают, что простых «заглушек» на уровне намерений или фиксированных правил уже недостаточно. ИИ нужна лучшая защита контекста и «гигиена памяти», чтобы не вестись на такие уловки.

Права авторов при обучении ИИ уточнят в подзаконных актах осенью

Новый закон о поддержке развития искусственного интеллекта не отменяет Гражданский кодекс и не превращает произведения авторов в бесплатный корм для нейросетей. Об этом заявила советник президента России Елена Ямпольская. Закон, подписанный президентом 26 июля, разрешает использовать общедоступные и правомерно опубликованные материалы для обучения российских алгоритмов ИИ.

Однако правообладатель может закрыть свои работы от такой обработки техническими средствами. Бесконтрольно загружать в модели всё, до чего дотянулся парсер, нельзя.

Как именно будет работать этот механизм, пока предстоит решить. Подзаконные акты, по данным «Ведомостей», начнут появляться осенью. При их подготовке власти обещают учесть опасения творческих отраслей, представители которых предупреждали об обесценивании интеллектуальной собственности.

Эксперты тем временем предлагают несколько способов помирить нейросети с авторами. Среди них — отказ от использования произведений по требованию правообладателя, коллективное лицензирование и отчисление части прибыли ИИ-продуктов в компенсационный фонд.

В РАНХиГС считают, что разработчиков генеративных моделей стоит обязать вести закрытые реестры обучающих данных и показывать их регуляторам. Так можно будет понять, чьи произведения попали в датасет, не раскрывая коммерческую тайну.

Юрист Михаил Семенов предлагает разделять сценарии. Если модель копирует голос актёра, манеру художника или тексты конкретного писателя, потребуется прямой договор и выплаты. При массовом обучении на миллиардах материалов искать каждого автора нереально — здесь пригодился бы аналог авторского общества для ИИ.

В отрасли есть и более жёсткий взгляд: чрезмерные ограничения могут ударить и по экономике, и по культуре. Поэтому властям предстоит настроить систему так, чтобы модели не остались голодными, а авторы — с красивым обещанием вместо денег.

RSS: Новости на портале Anti-Malware.ru