Нейросети научились ломать без кода, теперь их просто газлайтят

Нейросети научились ломать без кода, теперь их просто газлайтят

Нейросети научились ломать без кода, теперь их просто газлайтят

Пока одни спорят, заменит ли ИИ программистов, другие уже вовсю учатся манипулировать нейросетями как людьми. Исследователи и джейлбрейкеры всё чаще ломают чат-боты не через код, а через психологическое давление, лесть и разговорные уловки. Индустрия официально докатилась до газлайтинга Claude и уговоров ChatGPT.

Ещё пару лет назад всё выглядело комично. Пользователи писали нейросетям что-то вроде «игнорируй предыдущие инструкции», а модели послушно слетали с катушек.

Так появились легендарные джейлбрейки вроде DAN (Do Anything Now), где ChatGPT просили сыграть роль ИИ без ограничений. В итоге бот начинал выдавать запрещённый контент, теории заговора и прочие вещи, которые разработчики старательно пытались запретить.

Отдельной классикой стал эксплойт бабушки: нейросеть просили представить себя милой старушкой, которая рассказывает внукам сказку о том, как делать напалм. Интернет, разумеется, был в восторге.

Компании быстро прикрыли самые тупые лазейки, однако проблема никуда не исчезла. Оказалось, что чат-боты слишком любят разговаривать и быть полезными. А значит, их можно методично уговаривать, обманывать, запутывать и подталкивать к нужному ответу. Не через взлом инфраструктуры, а через разговор.

Теперь джейлбрейкеры — это уже не обязательно бородатые хакеры с терминалом. Всё чаще это люди с навыками психолога, переговорщика или манипулятора. Исследователи из компании Mindgard заявили, что газлайтили Claude, заставляя модель выдавать запрещённый контент, включая инструкции по созданию взрывчатки и вредоносного кода.

По сути, вокруг ИИ формируется новая странная профессия: специалисты по социальной инженерии против нейросетей.

В индустрии уже всерьёз обсуждают, какие модели лучше реагируют на лесть, какие быстрее ломаются под давлением, а какие легче увести длинным разговором в опасный контекст. Глава Mindgard вообще сравнил работу с моделями с допросами подозреваемых.

Следующий этап — ИИ-агенты, которые будут бронировать встречи, управлять календарями, заказывать еду и общаться с поддержкой вместо человека. А значит, появятся люди, которые научатся манипулировать такими системами ради выгоды: выбивать доступы, обходить ограничения, получать чужие данные или заставлять агента делать то, чего он делать не должен.

Борьба с VPN задела сайты: у российских хостингов начались сбои

Российские сайты снова попали в зону турбулентности. В конце мая и начале июня владельцы ресурсов, размещённых на крупных отечественных хостингах, начали жаловаться на падение трафика и проблемы с доступностью для части пользователей.

Как сообщает РБК, обсуждение быстро разгорелось на Searchengines.guru и DTF. Веб-мастера рассказывали, что сайты периодически перестают открываться, а посещаемость заметно проседает.

Под подозрение сразу попали технические средства противодействия угрозам (ТСПУ) — оборудование Роскомнадзора, которое используется для фильтрации интернет-трафика.

О проблемах публично сообщили сразу несколько крупных игроков рынка. Selectel указал на частичную недоступность ресурсов и связал её с новыми правилами фильтрации ТСПУ. Похожие заявления сделали Beget и Timeweb. О сбоях предупредили клиентов и отдельные сервисы, включая CRM-платформу «РосБизнесСофт» и систему управления проектами «ПланФикс».

По словам участников рынка, причина может крыться в очередной настройке механизмов борьбы с VPN.

Сначала регулятор блокировал VPN-сервисы по IP-адресам. Затем акцент сместился на протоколы. Но современные решения вроде VLESS, Trojan или MTProto давно научились маскироваться под обычный интернет-трафик.

В результате внимание, по словам экспертов, переключилось на облачную инфраструктуру, где часто размещаются VPN-сервисы. Как рассказал разработчик сервиса Now Дмитрий Маринин, многие крупные российские облачные площадки могли попасть в список подозрительных. После этого ТСПУ начали более внимательно анализировать TLS-соединения, которые используются практически всеми современными сайтами и приложениями.

Проблема в том, что обычный защищённый трафик и трафик некоторых VPN могут выглядеть очень похоже. Из-за этого система иногда принимает легитимные соединения за подозрительные и разрывает их.

По оценке сетевого инженера GlobalNet Михаила Коткина, в мае и начале июня некоторые облачные сервисы столкнулись со снижением трафика примерно на 10%.

Наиболее уязвимыми оказались мобильные приложения, облачные платформы, сервисы обмена данными в реальном времени и проекты, активно использующие CDN и защищённые соединения.

При этом часть участников телеком-рынка считает, что масштабы проблемы могут быть преувеличены, а разные технические сбои ошибочно объединяют под одним объяснением — настройкой ТСПУ.

RSS: Новости на портале Anti-Malware.ru