Нейросети научились ломать без кода, теперь их просто газлайтят

Нейросети научились ломать без кода, теперь их просто газлайтят

Нейросети научились ломать без кода, теперь их просто газлайтят

Пока одни спорят, заменит ли ИИ программистов, другие уже вовсю учатся манипулировать нейросетями как людьми. Исследователи и джейлбрейкеры всё чаще ломают чат-боты не через код, а через психологическое давление, лесть и разговорные уловки. Индустрия официально докатилась до газлайтинга Claude и уговоров ChatGPT.

Ещё пару лет назад всё выглядело комично. Пользователи писали нейросетям что-то вроде «игнорируй предыдущие инструкции», а модели послушно слетали с катушек.

Так появились легендарные джейлбрейки вроде DAN (Do Anything Now), где ChatGPT просили сыграть роль ИИ без ограничений. В итоге бот начинал выдавать запрещённый контент, теории заговора и прочие вещи, которые разработчики старательно пытались запретить.

Отдельной классикой стал эксплойт бабушки: нейросеть просили представить себя милой старушкой, которая рассказывает внукам сказку о том, как делать напалм. Интернет, разумеется, был в восторге.

Компании быстро прикрыли самые тупые лазейки, однако проблема никуда не исчезла. Оказалось, что чат-боты слишком любят разговаривать и быть полезными. А значит, их можно методично уговаривать, обманывать, запутывать и подталкивать к нужному ответу. Не через взлом инфраструктуры, а через разговор.

Теперь джейлбрейкеры — это уже не обязательно бородатые хакеры с терминалом. Всё чаще это люди с навыками психолога, переговорщика или манипулятора. Исследователи из компании Mindgard заявили, что газлайтили Claude, заставляя модель выдавать запрещённый контент, включая инструкции по созданию взрывчатки и вредоносного кода.

По сути, вокруг ИИ формируется новая странная профессия: специалисты по социальной инженерии против нейросетей.

В индустрии уже всерьёз обсуждают, какие модели лучше реагируют на лесть, какие быстрее ломаются под давлением, а какие легче увести длинным разговором в опасный контекст. Глава Mindgard вообще сравнил работу с моделями с допросами подозреваемых.

Следующий этап — ИИ-агенты, которые будут бронировать встречи, управлять календарями, заказывать еду и общаться с поддержкой вместо человека. А значит, появятся люди, которые научатся манипулировать такими системами ради выгоды: выбивать доступы, обходить ограничения, получать чужие данные или заставлять агента делать то, чего он делать не должен.

Ozon Банк, Яндекс Банк и WB Банк попали под новые санкции ЕС

Евросоюз утвердил 21-й пакет санкций против России — под ограничения попали сразу 94 банка, Московская биржа и несколько платёжных организаций. Финансовый сектор получил внушительный чёрный список, но его участники хором отвечают: работаем как обычно.

С 23 июля санкции действуют против Россельхозбанка, «Дом.рф», «МТС-банка», «Ак Барса», «Уралсиба», «Зенита», «Абсолют банка», WB Банка, Ozon Банка, «Точки», «Яндекс Банка», «Почта Банка» и других организаций.

В список также включили НКО «Мобильная карта» и РНКО «Платёжный Центр».

Персональные ограничения затронули зампреда Банка России Сергея Белова, главу РЖД Олега Белозёрова и других лиц. Кроме финансов, новый пакет касается энергетики, торговли и криптовалют.

Московская биржа заявила, что торги и расчёты продолжатся без изменений. Ozon Банк, «Точка» и «Финам» тоже заверили клиентов, что сервисы и платежи работают в штатном режиме. Брокер «Финам» под санкции не попал. АФК «Система» назвала решение ЕС незаконным и пообещала справиться с ограничениями.

Однако первые неудобства уже появились. Платёжная система «Золотая Корона» остановила переводы в Грузию и ряд других стран: в поддержке подтвердили, что некоторые направления временно недоступны.

Следующим сюрпризом может стать исчезновение банковских приложений из App Store и Google Play. Ранее после санкций из магазинов уже удаляли приложения российских банков и VK. Пока это лишь вероятный сценарий, но владельцам затронутых банков лучше не спешить удалять установленные приложения.

В российской миссии при ЕС предупредили об адекватном ответе.

RSS: Новости на портале Anti-Malware.ru