Нейросети научились ломать без кода, теперь их просто газлайтят

Нейросети научились ломать без кода, теперь их просто газлайтят

Нейросети научились ломать без кода, теперь их просто газлайтят

Пока одни спорят, заменит ли ИИ программистов, другие уже вовсю учатся манипулировать нейросетями как людьми. Исследователи и джейлбрейкеры всё чаще ломают чат-боты не через код, а через психологическое давление, лесть и разговорные уловки. Индустрия официально докатилась до газлайтинга Claude и уговоров ChatGPT.

Ещё пару лет назад всё выглядело комично. Пользователи писали нейросетям что-то вроде «игнорируй предыдущие инструкции», а модели послушно слетали с катушек.

Так появились легендарные джейлбрейки вроде DAN (Do Anything Now), где ChatGPT просили сыграть роль ИИ без ограничений. В итоге бот начинал выдавать запрещённый контент, теории заговора и прочие вещи, которые разработчики старательно пытались запретить.

Отдельной классикой стал эксплойт бабушки: нейросеть просили представить себя милой старушкой, которая рассказывает внукам сказку о том, как делать напалм. Интернет, разумеется, был в восторге.

Компании быстро прикрыли самые тупые лазейки, однако проблема никуда не исчезла. Оказалось, что чат-боты слишком любят разговаривать и быть полезными. А значит, их можно методично уговаривать, обманывать, запутывать и подталкивать к нужному ответу. Не через взлом инфраструктуры, а через разговор.

Теперь джейлбрейкеры — это уже не обязательно бородатые хакеры с терминалом. Всё чаще это люди с навыками психолога, переговорщика или манипулятора. Исследователи из компании Mindgard заявили, что газлайтили Claude, заставляя модель выдавать запрещённый контент, включая инструкции по созданию взрывчатки и вредоносного кода.

По сути, вокруг ИИ формируется новая странная профессия: специалисты по социальной инженерии против нейросетей.

В индустрии уже всерьёз обсуждают, какие модели лучше реагируют на лесть, какие быстрее ломаются под давлением, а какие легче увести длинным разговором в опасный контекст. Глава Mindgard вообще сравнил работу с моделями с допросами подозреваемых.

Следующий этап — ИИ-агенты, которые будут бронировать встречи, управлять календарями, заказывать еду и общаться с поддержкой вместо человека. А значит, появятся люди, которые научатся манипулировать такими системами ради выгоды: выбивать доступы, обходить ограничения, получать чужие данные или заставлять агента делать то, чего он делать не должен.

Подпишитесь на новости

Главной целью стратегии ИБ стало снижение рисков — 78% против 55% год назад

Компании всё чаще берутся за стратегию ИБ, но писать её мешает нехватка данных и поддержки руководства. Об этом говорят опросы зрителей эфира AM Live «Стратегия информационной безопасности: зачем нужна и как её защитить».

В ходе дискуссии эксперты разбирали, зачем бизнесу стратегия ИБ, как связать её с бизнес-целями, что такое риск-аппетит и недопустимые события, как отличить стратегию от списка закупок и как доказать её ценность руководству.

Ярослав Напалков (МТС Банк) поделился кейсом, как презентация стратегии топ-менеджеру вызвала агрессию, и посоветовал сначала доносить контекст. Николай Казанцев (Securitm) предложил новичкам «три чашки кофе» — пообщаться с CEO, ИТ и стейкхолдерами.

Эксперты также обсудили горизонт планирования (2-3 года с ежегодным пересмотром), роль резервного копирования и киберучений, кейсы с шифровальщиками, BYOD, DLP и построением SOC.

За год доля компаний, у которых стратегия в разработке, выросла с 9% до 28%. А тех, у кого её нет и не предвидится, стало меньше — 21% против 26%. При этом меньше компаний довели документ до рабочего состояния с метриками и кибериспытаниями: 16% против 20%.

Барьеры тоже сместились. Нехватка исходных данных выросла с 46% до 64%, отсутствие buy-in топ-менеджмента — с 25% до 43%. Кадровый дефицит остаётся главным ограничением, хотя и снизился до 59%. Николай Казанцев из Securitm объясняет это зрелостью рынка:

«По нашей статистике, лишь 15-20% служб ИБ имеют хоть как-то формализованный реестр рисков. Я даже не говорю про количественный, хотя бы качественную оценку».

Главной целью на 2027 год снижение рисков и финансового ущерба назвали 78% — рост на 23 п.п. На втором месте устойчивость и сокращение простоев критичных сервисов — 57%. Наталья Глинина из Megafon Pro Business считает это логичным:

«Нормальная цель, потому что она прямо влияет на бизнес. Финансовый ущерб считается недопустимым событием, потому что иначе ваш бизнес может перестать работать».

Соответствие регуляторам держится на уровне 59%, а оптимизация TCO и консолидация стека теряют популярность — 8% против 14%.

Оптимизм по поводу роста интереса к стратегии разделяют не все. Евгений Акимов из «Рубитеха» предположил:

«Просто те, кто были на эфире в 2025 году, разработали стратегию и на наш эфир уже не пришли. Просто новые люди, которые как-то голодны до стратегии».

А ведущий Виктор Бобыльков напомнил, что часть компаний сознательно живёт без документа:

«Одно дело, когда бюджета нет, тогда хотя бы есть исходные данные. Но мы просто не делаем стратегию, потому что смысл её делать, нам денег больше не дадут. Это стратегия стабильной оперейшн».

Участники эфира сошлись на том, что стратегия ИБ — это не список закупок, а инструмент связи с бизнес-целями, который нужно строить на риск-ориентированном подходе. Планировать стоит на 2-3 года с ежегодным пересмотром, фокусироваться на критичных процессах и восстановлении, а ответственность распределять между ИБ, ИТ и бизнесом.

RSS: Новости на портале Anti-Malware.ru