Эксперты по безопасности Bit9 не защитили собственную сеть

Эксперты по безопасности Bit9 не защитили собственную сеть

Американская компания Bit9, выпускающая решения для борьбы с вирусами и обеспечения сетевой безопасности, стала жертвой рассеянности своих же специалистов, которые забыли установить собственные продукты на машинах своей корпоративной сети. Незащищенная сеть была быстро взломана.

Ситуацию с компанией Bit9 трудно назвать другим словом, кроме как «конфуз»: специалистов по безопасности взломали, когда они забыли установить собственный продукт. В мире разработки защитных систем такое происходит не впервые. Стоит вспомнить хотя бы прошлогодний инцидент, когда антивирусы компании Sophos стали по ошибке считать вредоносными собственные файлы с сигнатурами. Тогда антивирусы полностью уничтожали свою базу данных, становясь бесполезными для заказчика, передает soft.mail.ru.

Как пояснил Патрик Морли (Patrick Morley) из компании Bit9: «Из-за недосмотра в текущей работе по обслуживанию внутренней сети компании значительная часть компьютеров осталась без установленных копий наших продуктов. В результате некие сторонние злоумышленники смогли временно получить несанкционированный доступ к одному из наших сертификатов для подписывания приложений, после чего с помощью него было подписано вредоносное ПО. На данный момент нет никаких признаков, что проблема возникла из-за дефектов в нашем продукте. Расследование также показывает, что наши собственные продукты не были скомпрометированы».

В защиту компании Bit9 можно сказать, что она разослала предупреждения своим клиентам перед тем, как обнародовать сведения об инциденте. В ином случае безопасность клиентов могла бы оказаться под угрозой. Кроме того, после выявления проблемы компания не стала скрывать неудобную ситуацию. Получилась своего рода работа на публику в стиле «вот что может случиться, если не использовать наш продукт».

Как бы то ни было, компанию Bit9 трудно заподозрить в преднамеренной ошибке, и вот почему: кроме проникновения в корпоративную сеть, ущерб выразился в потере важнейшего электронного сертификата. Злоумышленники даже успели выпустить собственный вирус, подписанный этим сертификатом – а это серьезная угроза не только для репутации, но и для безопасности в долгосрочном периоде. К счастью, по данным компании Bit9, всего трое из ее клиентов стали жертвой вредоносного ПО с похищенным сертификатом.

Если Bit9 не ошибается в своих оценках насчет всего трех пострадавших клиентов, то компании просто повезло. Шанс обойтись такими малыми жертвами очень невелик. Теперь компании Bit9 и Sophos служат наглядными примерами для других производителей защитных систем: как легко поставить под угрозу любой бизнес в этой сфере. В любом случае, борьба за безопасность – не точная наука, и в ней всегда есть место для человеческих ошибок.

Нейросети научились ломать без кода, теперь их просто газлайтят

Пока одни спорят, заменит ли ИИ программистов, другие уже вовсю учатся манипулировать нейросетями как людьми. Исследователи и джейлбрейкеры всё чаще ломают чат-боты не через код, а через психологическое давление, лесть и разговорные уловки. Индустрия официально докатилась до газлайтинга Claude и уговоров ChatGPT.

Ещё пару лет назад всё выглядело комично. Пользователи писали нейросетям что-то вроде «игнорируй предыдущие инструкции», а модели послушно слетали с катушек.

Так появились легендарные джейлбрейки вроде DAN (Do Anything Now), где ChatGPT просили сыграть роль ИИ без ограничений. В итоге бот начинал выдавать запрещённый контент, теории заговора и прочие вещи, которые разработчики старательно пытались запретить.

Отдельной классикой стал эксплойт бабушки: нейросеть просили представить себя милой старушкой, которая рассказывает внукам сказку о том, как делать напалм. Интернет, разумеется, был в восторге.

Компании быстро прикрыли самые тупые лазейки, однако проблема никуда не исчезла. Оказалось, что чат-боты слишком любят разговаривать и быть полезными. А значит, их можно методично уговаривать, обманывать, запутывать и подталкивать к нужному ответу. Не через взлом инфраструктуры, а через разговор.

Теперь джейлбрейкеры — это уже не обязательно бородатые хакеры с терминалом. Всё чаще это люди с навыками психолога, переговорщика или манипулятора. Исследователи из компании Mindgard заявили, что газлайтили Claude, заставляя модель выдавать запрещённый контент, включая инструкции по созданию взрывчатки и вредоносного кода.

По сути, вокруг ИИ формируется новая странная профессия: специалисты по социальной инженерии против нейросетей.

В индустрии уже всерьёз обсуждают, какие модели лучше реагируют на лесть, какие быстрее ломаются под давлением, а какие легче увести длинным разговором в опасный контекст. Глава Mindgard вообще сравнил работу с моделями с допросами подозреваемых.

Следующий этап — ИИ-агенты, которые будут бронировать встречи, управлять календарями, заказывать еду и общаться с поддержкой вместо человека. А значит, появятся люди, которые научатся манипулировать такими системами ради выгоды: выбивать доступы, обходить ограничения, получать чужие данные или заставлять агента делать то, чего он делать не должен.

RSS: Новости на портале Anti-Malware.ru