Нейросети научились ломать без кода, теперь их просто газлайтят

Нейросети научились ломать без кода, теперь их просто газлайтят

Нейросети научились ломать без кода, теперь их просто газлайтят

Пока одни спорят, заменит ли ИИ программистов, другие уже вовсю учатся манипулировать нейросетями как людьми. Исследователи и джейлбрейкеры всё чаще ломают чат-боты не через код, а через психологическое давление, лесть и разговорные уловки. Индустрия официально докатилась до газлайтинга Claude и уговоров ChatGPT.

Ещё пару лет назад всё выглядело комично. Пользователи писали нейросетям что-то вроде «игнорируй предыдущие инструкции», а модели послушно слетали с катушек.

Так появились легендарные джейлбрейки вроде DAN (Do Anything Now), где ChatGPT просили сыграть роль ИИ без ограничений. В итоге бот начинал выдавать запрещённый контент, теории заговора и прочие вещи, которые разработчики старательно пытались запретить.

Отдельной классикой стал эксплойт бабушки: нейросеть просили представить себя милой старушкой, которая рассказывает внукам сказку о том, как делать напалм. Интернет, разумеется, был в восторге.

Компании быстро прикрыли самые тупые лазейки, однако проблема никуда не исчезла. Оказалось, что чат-боты слишком любят разговаривать и быть полезными. А значит, их можно методично уговаривать, обманывать, запутывать и подталкивать к нужному ответу. Не через взлом инфраструктуры, а через разговор.

Теперь джейлбрейкеры — это уже не обязательно бородатые хакеры с терминалом. Всё чаще это люди с навыками психолога, переговорщика или манипулятора. Исследователи из компании Mindgard заявили, что газлайтили Claude, заставляя модель выдавать запрещённый контент, включая инструкции по созданию взрывчатки и вредоносного кода.

По сути, вокруг ИИ формируется новая странная профессия: специалисты по социальной инженерии против нейросетей.

В индустрии уже всерьёз обсуждают, какие модели лучше реагируют на лесть, какие быстрее ломаются под давлением, а какие легче увести длинным разговором в опасный контекст. Глава Mindgard вообще сравнил работу с моделями с допросами подозреваемых.

Следующий этап — ИИ-агенты, которые будут бронировать встречи, управлять календарями, заказывать еду и общаться с поддержкой вместо человека. А значит, появятся люди, которые научатся манипулировать такими системами ради выгоды: выбивать доступы, обходить ограничения, получать чужие данные или заставлять агента делать то, чего он делать не должен.

Касперский притормозил развитие «МойОфис»: импортозамещение не сработало

У российского офисного ПО продолжаются непростые времена. Глава «Лаборатории Касперского» Евгений Касперский заявил, что компания решила сократить объёмы поддержки развития «МойОфис», контрольный пакет которого находится под её управлением.

По словам Касперского, речь не идёт о закрытии проекта, однако актив переводится в режим медленного огня. Разработка и поддержка продуктов сохраняются, но уже не в тех масштабах, что раньше.

Причина проста: бизнес остаётся убыточным.

«Если говорить про ситуацию здесь и сейчас, то актив убыточен», — признал Касперский в интервью ТАСС на ПМЭФ.

Он также отметил, что не видит серьёзного экспортного потенциала у «МойОфис». По его словам, продукт слишком сильно ориентирован на российский рынок. Одной из ключевых задач для выхода за рубеж он назвал глубокую локализацию, в частности поддержку арабского языка, которая потребует дополнительных инвестиций и времени.

При этом основные надежды связывались именно с российским рынком и импортозамещением. Однако здесь ожидания не оправдались.

По мнению Касперского, полноценного импортозамещения в сегменте офисного ПО так и не произошло. Он объяснил это тем, что часть пользователей продолжает работать на пиратских версиях зарубежных продуктов, а часть использует схемы серого импорта программного обеспечения.

Несмотря на проблемы, говорить о полной заморозке проекта пока рано. В компании рассчитывают на дальнейшее развитие экосистемы и интеграцию продуктов «МойОфис» с собственной операционной системой.

Заявление прозвучало вскоре после сообщений о сокращениях в компании. Ранее стало известно, что «МойОфис» уведомил сотрудников об оптимизации штата. Финансовые показатели также выглядят тревожно: по итогам 2025 года чистый убыток разработчика вырос до 4 млрд рублей против 1,2 млрд рублей годом ранее.

RSS: Новости на портале Anti-Malware.ru