Нейросети научились ломать без кода, теперь их просто газлайтят

Нейросети научились ломать без кода, теперь их просто газлайтят

Нейросети научились ломать без кода, теперь их просто газлайтят

Пока одни спорят, заменит ли ИИ программистов, другие уже вовсю учатся манипулировать нейросетями как людьми. Исследователи и джейлбрейкеры всё чаще ломают чат-боты не через код, а через психологическое давление, лесть и разговорные уловки. Индустрия официально докатилась до газлайтинга Claude и уговоров ChatGPT.

Ещё пару лет назад всё выглядело комично. Пользователи писали нейросетям что-то вроде «игнорируй предыдущие инструкции», а модели послушно слетали с катушек.

Так появились легендарные джейлбрейки вроде DAN (Do Anything Now), где ChatGPT просили сыграть роль ИИ без ограничений. В итоге бот начинал выдавать запрещённый контент, теории заговора и прочие вещи, которые разработчики старательно пытались запретить.

Отдельной классикой стал эксплойт бабушки: нейросеть просили представить себя милой старушкой, которая рассказывает внукам сказку о том, как делать напалм. Интернет, разумеется, был в восторге.

Компании быстро прикрыли самые тупые лазейки, однако проблема никуда не исчезла. Оказалось, что чат-боты слишком любят разговаривать и быть полезными. А значит, их можно методично уговаривать, обманывать, запутывать и подталкивать к нужному ответу. Не через взлом инфраструктуры, а через разговор.

Теперь джейлбрейкеры — это уже не обязательно бородатые хакеры с терминалом. Всё чаще это люди с навыками психолога, переговорщика или манипулятора. Исследователи из компании Mindgard заявили, что газлайтили Claude, заставляя модель выдавать запрещённый контент, включая инструкции по созданию взрывчатки и вредоносного кода.

По сути, вокруг ИИ формируется новая странная профессия: специалисты по социальной инженерии против нейросетей.

В индустрии уже всерьёз обсуждают, какие модели лучше реагируют на лесть, какие быстрее ломаются под давлением, а какие легче увести длинным разговором в опасный контекст. Глава Mindgard вообще сравнил работу с моделями с допросами подозреваемых.

Следующий этап — ИИ-агенты, которые будут бронировать встречи, управлять календарями, заказывать еду и общаться с поддержкой вместо человека. А значит, появятся люди, которые научатся манипулировать такими системами ради выгоды: выбивать доступы, обходить ограничения, получать чужие данные или заставлять агента делать то, чего он делать не должен.

Минцифры предложило взять осуждённых педофилов на цифровой учёт

В России могут создать единый реестр людей, совершивших преступления против половой неприкосновенности несовершеннолетних. Инициатива вошла в проект доктрины Минцифры по борьбе с ИТ-преступлениями. Отбыть срок и раствориться в другом регионе станет сложнее.

Реестр предлагают использовать для контроля за бывшими заключёнными, в том числе при помощи технических средств, выяснили «Известия».

Он должен помочь отслеживать соблюдение запретов на работу с детьми, посещение школ, лагерей и других детских учреждений, а также прохождение назначенного судом лечения.

Пока это не готовое решение, а направление для обсуждения. Минцифры не раскрыло, какие сведения попадут в базу, кто получит к ней доступ и будет ли она публичной. Для запуска системы потребуется отдельно менять законодательство. Сам проект доктрины ещё проходит общественное обсуждение.

Идея реестра гуляет по кабинетам не первый год. Одни депутаты предлагали открыть его для всех, другие настаивали на закрытом формате. Зампред комитета Госдумы по безопасности Анатолий Выборный считает, что доступ следует дать только правоохранителям, медикам, уголовно-исполнительным инспекциям и кадровым службам образовательных и социальных учреждений.

Сторонники инициативы указывают на дыру в межведомственном обмене данными. Сейчас у полиции, медиков и других ведомств свои базы, которые не всегда успевают поговорить друг с другом. В результате осуждённый за преступление против ребёнка может переехать и снова оказаться рядом с детьми, иногда даже в роли тренера или педагога.

У противников тоже есть весомые аргументы. В реестр могут попасть ошибочно осуждённые, а утечка данных способна обернуться травлей не только для них, но и для невиновных родственников. Кроме того, одна большая база не исправит формальный надзор и привычку некоторых учреждений заминать скандалы.

Поэтому главный вопрос не в том, нужен ли ещё один реестр. Гораздо важнее, кто, как и для чего будет нажимать в нём кнопки.

RSS: Новости на портале Anti-Malware.ru