Нейросети научились ломать без кода, теперь их просто газлайтят

Нейросети научились ломать без кода, теперь их просто газлайтят

Нейросети научились ломать без кода, теперь их просто газлайтят

Пока одни спорят, заменит ли ИИ программистов, другие уже вовсю учатся манипулировать нейросетями как людьми. Исследователи и джейлбрейкеры всё чаще ломают чат-боты не через код, а через психологическое давление, лесть и разговорные уловки. Индустрия официально докатилась до газлайтинга Claude и уговоров ChatGPT.

Ещё пару лет назад всё выглядело комично. Пользователи писали нейросетям что-то вроде «игнорируй предыдущие инструкции», а модели послушно слетали с катушек.

Так появились легендарные джейлбрейки вроде DAN (Do Anything Now), где ChatGPT просили сыграть роль ИИ без ограничений. В итоге бот начинал выдавать запрещённый контент, теории заговора и прочие вещи, которые разработчики старательно пытались запретить.

Отдельной классикой стал эксплойт бабушки: нейросеть просили представить себя милой старушкой, которая рассказывает внукам сказку о том, как делать напалм. Интернет, разумеется, был в восторге.

Компании быстро прикрыли самые тупые лазейки, однако проблема никуда не исчезла. Оказалось, что чат-боты слишком любят разговаривать и быть полезными. А значит, их можно методично уговаривать, обманывать, запутывать и подталкивать к нужному ответу. Не через взлом инфраструктуры, а через разговор.

Теперь джейлбрейкеры — это уже не обязательно бородатые хакеры с терминалом. Всё чаще это люди с навыками психолога, переговорщика или манипулятора. Исследователи из компании Mindgard заявили, что газлайтили Claude, заставляя модель выдавать запрещённый контент, включая инструкции по созданию взрывчатки и вредоносного кода.

По сути, вокруг ИИ формируется новая странная профессия: специалисты по социальной инженерии против нейросетей.

В индустрии уже всерьёз обсуждают, какие модели лучше реагируют на лесть, какие быстрее ломаются под давлением, а какие легче увести длинным разговором в опасный контекст. Глава Mindgard вообще сравнил работу с моделями с допросами подозреваемых.

Следующий этап — ИИ-агенты, которые будут бронировать встречи, управлять календарями, заказывать еду и общаться с поддержкой вместо человека. А значит, появятся люди, которые научатся манипулировать такими системами ради выгоды: выбивать доступы, обходить ограничения, получать чужие данные или заставлять агента делать то, чего он делать не должен.

РТК-ЦОД добавил ГОСТ-VPN в «Облако КИИ»

РТК-ЦОД расширил возможности своей платформы «Облако КИИ», добавив сервис защищённого подключения ГОСТ-VPN. Решение предназначено для организации безопасного обмена данными между инфраструктурой заказчика и облачной средой с использованием российских криптографических алгоритмов.

Новый сервис работает в составе «Облака КИИ» — платформы, построенной на отечественном программном обеспечении и оборудовании для размещения объектов критической информационной инфраструктуры.

ГОСТ-VPN позволяет создавать защищённые каналы связи между локальными информационными системами организаций и облачными ресурсами. Для шифрования используются сертифицированные ФСБ России средства криптографической защиты информации, поддерживающие алгоритмы семейства ГОСТ.

В основе сервиса лежит решение компании «ИнфоТеКС». Архитектура предусматривает резервирование компонентов для повышения устойчивости соединений.

В первую очередь сервис ориентирован на организации, для которых требования к защите данных являются обязательными. Среди потенциальных пользователей названы государственные структуры, финансовые организации, предприятия промышленности и ТЭК, медицинские учреждения, транспортные компании и операторы персональных данных.

В РТК-ЦОД отмечают, что заказчики смогут выбирать различные варианты подключения в зависимости от особенностей своей инфраструктуры. Поддерживаются как собственные, так и арендуемые средства криптографической защиты.

Появление ГОСТ-VPN отражает общий тренд на развитие отечественных облачных сервисов для объектов КИИ и организаций, работающих с чувствительной информацией. Для таких компаний вопрос безопасного взаимодействия между локальной инфраструктурой и облачными ресурсами остаётся одним из ключевых при переносе сервисов в облако.

RSS: Новости на портале Anti-Malware.ru