Нейросети научились ломать без кода, теперь их просто газлайтят

Нейросети научились ломать без кода, теперь их просто газлайтят

Нейросети научились ломать без кода, теперь их просто газлайтят

Пока одни спорят, заменит ли ИИ программистов, другие уже вовсю учатся манипулировать нейросетями как людьми. Исследователи и джейлбрейкеры всё чаще ломают чат-боты не через код, а через психологическое давление, лесть и разговорные уловки. Индустрия официально докатилась до газлайтинга Claude и уговоров ChatGPT.

Ещё пару лет назад всё выглядело комично. Пользователи писали нейросетям что-то вроде «игнорируй предыдущие инструкции», а модели послушно слетали с катушек.

Так появились легендарные джейлбрейки вроде DAN (Do Anything Now), где ChatGPT просили сыграть роль ИИ без ограничений. В итоге бот начинал выдавать запрещённый контент, теории заговора и прочие вещи, которые разработчики старательно пытались запретить.

Отдельной классикой стал эксплойт бабушки: нейросеть просили представить себя милой старушкой, которая рассказывает внукам сказку о том, как делать напалм. Интернет, разумеется, был в восторге.

Компании быстро прикрыли самые тупые лазейки, однако проблема никуда не исчезла. Оказалось, что чат-боты слишком любят разговаривать и быть полезными. А значит, их можно методично уговаривать, обманывать, запутывать и подталкивать к нужному ответу. Не через взлом инфраструктуры, а через разговор.

Теперь джейлбрейкеры — это уже не обязательно бородатые хакеры с терминалом. Всё чаще это люди с навыками психолога, переговорщика или манипулятора. Исследователи из компании Mindgard заявили, что газлайтили Claude, заставляя модель выдавать запрещённый контент, включая инструкции по созданию взрывчатки и вредоносного кода.

По сути, вокруг ИИ формируется новая странная профессия: специалисты по социальной инженерии против нейросетей.

В индустрии уже всерьёз обсуждают, какие модели лучше реагируют на лесть, какие быстрее ломаются под давлением, а какие легче увести длинным разговором в опасный контекст. Глава Mindgard вообще сравнил работу с моделями с допросами подозреваемых.

Следующий этап — ИИ-агенты, которые будут бронировать встречи, управлять календарями, заказывать еду и общаться с поддержкой вместо человека. А значит, появятся люди, которые научатся манипулировать такими системами ради выгоды: выбивать доступы, обходить ограничения, получать чужие данные или заставлять агента делать то, чего он делать не должен.

Apple выложила код постквантовой криптографии на GitHub

Apple продолжает строить цифровой бункер на случай, если квантовые компьютеры однажды начнут вскрывать современное шифрование. Компания выложила на GitHub исходники corecrypto (своей низкоуровневой криптографической библиотеки) и подробно рассказала, как проверяет защиту iPhone, macOS от будущих квантовых атак.

Вообще вся эта история началась ещё в 2024 году с появления PQ3 в iMessage.

Тогда Apple впервые публично включила постквантовую защиту: мессенджер начал использовать новые алгоритмы не только при старте переписки, но и при регулярном обновлении ключей шифрования.

Корпорация заранее готовится к моменту, когда квантовые машины смогут ломать классическую криптографию быстрее, чем пользователи успеют придумать пароль «12345678».

Теперь Apple пошла дальше и открыла код corecrypto — библиотеки, которая отвечает за шифрование, цифровые подписи, хеширование и генерацию случайных чисел в экосистеме компании. Именно через неё работают Security framework, CryptoKit и CommonCrypto.

В репозитории появились реализации ML-KEM и ML-DSA — двух постквантовых алгоритмов, которые Apple выбрала для своей криптографии. Первый нужен для безопасного обмена ключами шифрования, второй — для цифровых подписей. Оба стандарта утверждены NIST как защита от угроз будущих квантовых компьютеров.

Но самое интересное — не сами алгоритмы, а то, как Apple всё это проверяет.

Компания выдала огромный технический разбор о том, как тестировала код перед публикацией. И судя по описанию, внутри Apple криптографию гоняют так, будто готовят запуск ядерного реактора. Обычных тестов им оказалось мало: пришлось строить собственную систему формальной верификации, потому что существующие инструменты не покрывали все сценарии.

Проблема в том, что corecrypto работает сразу на куче устройств с разными версиями Apple Silicon, а часть кода написана не только на C, но и вручную оптимизирована под ARM64.

В итоге Apple утверждает, что формальная верификация уже помогла найти критические ошибки, которые обычное тестирование не заметило бы. Например, компания обнаружила пропущенный шаг в ранней реализации ML-DSA. В редких случаях это могло приводить к некорректным криптографическим вычислениям без каких-либо предупреждений. Заодно инженеры нашли ошибку даже в стороннем математическом доказательстве и самостоятельно её исправили для своих параметров.

RSS: Новости на портале Anti-Malware.ru