Нейросети научились ломать без кода, теперь их просто газлайтят

Нейросети научились ломать без кода, теперь их просто газлайтят

Нейросети научились ломать без кода, теперь их просто газлайтят

Пока одни спорят, заменит ли ИИ программистов, другие уже вовсю учатся манипулировать нейросетями как людьми. Исследователи и джейлбрейкеры всё чаще ломают чат-боты не через код, а через психологическое давление, лесть и разговорные уловки. Индустрия официально докатилась до газлайтинга Claude и уговоров ChatGPT.

Ещё пару лет назад всё выглядело комично. Пользователи писали нейросетям что-то вроде «игнорируй предыдущие инструкции», а модели послушно слетали с катушек.

Так появились легендарные джейлбрейки вроде DAN (Do Anything Now), где ChatGPT просили сыграть роль ИИ без ограничений. В итоге бот начинал выдавать запрещённый контент, теории заговора и прочие вещи, которые разработчики старательно пытались запретить.

Отдельной классикой стал эксплойт бабушки: нейросеть просили представить себя милой старушкой, которая рассказывает внукам сказку о том, как делать напалм. Интернет, разумеется, был в восторге.

Компании быстро прикрыли самые тупые лазейки, однако проблема никуда не исчезла. Оказалось, что чат-боты слишком любят разговаривать и быть полезными. А значит, их можно методично уговаривать, обманывать, запутывать и подталкивать к нужному ответу. Не через взлом инфраструктуры, а через разговор.

Теперь джейлбрейкеры — это уже не обязательно бородатые хакеры с терминалом. Всё чаще это люди с навыками психолога, переговорщика или манипулятора. Исследователи из компании Mindgard заявили, что газлайтили Claude, заставляя модель выдавать запрещённый контент, включая инструкции по созданию взрывчатки и вредоносного кода.

По сути, вокруг ИИ формируется новая странная профессия: специалисты по социальной инженерии против нейросетей.

В индустрии уже всерьёз обсуждают, какие модели лучше реагируют на лесть, какие быстрее ломаются под давлением, а какие легче увести длинным разговором в опасный контекст. Глава Mindgard вообще сравнил работу с моделями с допросами подозреваемых.

Следующий этап — ИИ-агенты, которые будут бронировать встречи, управлять календарями, заказывать еду и общаться с поддержкой вместо человека. А значит, появятся люди, которые научатся манипулировать такими системами ради выгоды: выбивать доступы, обходить ограничения, получать чужие данные или заставлять агента делать то, чего он делать не должен.

Не светите ключами в соцсетях: по фото можно напечатать рабочий дубликат

Фотография с ключами в руке может оказаться не такой милой, как кажется. Специалист по кибербезопасности Эван Оттингер показал, что по обычному снимку ключа из соцсетей можно сделать рабочую копию, для этого не нужна лаборатория злодея из кино.

Оттингер — типичный ред тимер, по заказу компаний имитирует реальные атаки, проверяет защиту сетей и иногда даже физическую безопасность зданий.

По его словам, люди постоянно выкладывают фото ключей — от обычных пользователей до знаменитостей. А зря.

Если на фотографии хорошо виден профиль и нарезка ключа, их можно проанализировать, восстановить геометрию и изготовить копию. Оттингер использовал открытые инструменты для декодирования ключей, графический редактор и 3D-принтер. В итоге эксперимент сработал: пластиковый ключ, напечатанный по данным со снимка, оказался пригоден для открытия замка.

 

Сам исследователь признаёт, что сначала тоже сомневался: «Да ладно, не может же это реально работать?» Оказалось, что может. Более того, для подготовленного человека весь путь от скачанного фото до готового ключа может занять около 10-15 минут.

Главная проблема в том, что такой способ не похож на взлом в привычном смысле. В отличие от отмычек, использование копии ключа не оставляет очевидных следов на замке. Для прохожих всё выглядит нормально: человек просто открыл дверь своим ключом. Именно такие сценарии, по словам Оттингера, и заставляют специалистов по безопасности нервничать.

Ключи нужно воспринимать как пароли. Их не показывают крупным планом, не выкладывают в сторис и не держат перед камерой ради красивого поста. Если очень хочется поделиться радостью о новом доме, лучше закрыть зубцы ключа рукой, размыть их или вообще сфотографировать брелок.

Оттингер также советует не полагаться только на один замок. Камеры, сигнализация и другие уровни защиты делают дом менее удобной целью.

RSS: Новости на портале Anti-Malware.ru