Инженер Google вывел Sophos на чистую воду

Инженер Google вывел Sophos на чистую воду

...

Выступая на конференции Black Hat, сотрудник Google Тейвис Орманди предложил новый подход к оценке надежности антивирусной защиты. По его мнению, вместо участия в традиционных проверках на количество задетектированных образцов или качество устранения резидентных инфекций производителям следует попросту открыто говорить об используемых ими алгоритмах и технологиях, обеспечивая максимальную прозрачность для своих клиентов, а не прятаться за маркетинговой мишурой и жутко звучащими техническими терминами.


Чтобы проиллюстрировать свою мысль, специалист взял антивирусное решение компании Sophos и занялся информационно-технологической хирургией, намереваясь определить, что же в действительности стоит за словотворчеством маркетологов компании, которые составляли список особенностей и возможностей продукта. Посмотрим, что ему удалось узнать.

Для начала г-н Орманди занялся изучением антивирусных сигнатур. Его внимание привлекло заявление, что все детектирующие образцы перед выпуском обновлений обрабатываются экспертами-вирусологами. Анализ, проведенный им, показал, что на самом деле основная часть сигнатур руки человека не ощущала: по преимуществу они сгенерированы автоматически и часто ссылаются на нерелевантные фрагменты кода. Проблема в данном случае, естественно, состоит не в использовании технологий автоматизации (это плюс), а в отсутствии заявленного надзора за качеством записей в антивирусных базах - что может приводить к ложным срабатываниям.

Далее: в описании продукта заявлено активное противодействие попыткам эксплуатации уязвимостей. Г-н Орманди изучил этот аспект деятельности антивируса и обнаружил, что в операционных системах Windows Vista и выше модуль борьбы с эксплойтами загружается, подключается ко всем работающим процессам и... бездействует. Программный элемент просто присутствует в памяти, но не выполняет вообще никаких операций. Исследователь заметил вскользь, что автор этого функционала, видимо, имел слабое представление о некоторых аспектах защиты Windows.

Также, по заявлениям маркетологов, решение Sophos снабжено собственной надежной криптосистемой. Специалист проверил и ее тоже; защита оказалась не особенно прочной. Дело даже не в 64-битном шифровании (хотя современный негласный стандарт - 256 бит), а в том, что дешифровочный ключ хранится непосредственно в криптованном файле и может быть без особого труда извлечен оттуда. По этому поводу г-н Орманди сказал, что в данном случае перед нами и не шифрование даже, а обычная обфускация, которая не особенно напугает потенциального злоумышленника.

Нашел аналитик и другие изъяны: например, слабый эмулятор или неумение продукта работать с современными упаковщиками (хотя описание уверяет, что он на это способен). Кстати, черновик своей конференционной презентации исследователь отправил и в саму Sophos; там его изыскания восприняли доброжелательно и пообещали заняться исправлением указанных им проблем.

Аудитория г-на Орманди, однако, была обеспокоена подобными несоответствиями между декларациями и реальностью (хотя, казалось бы, специфика работы маркетологов должна была быть знакома большинству присутствовавших). Похоже, что специалист из Google по-своему прав: если бы компания-производитель прямо и открыто рассказала реальным и потенциальным клиентам о своем защитном решении (и в том числе о всех недостатках, выявленных г-ном Орманди), то пользователи, пожалуй, действительно успешно составили бы мнение о продукте безо всяких антивирусных тестов.

PC Magazine

Письмо автору

Нейросети научились ломать без кода, теперь их просто газлайтят

Пока одни спорят, заменит ли ИИ программистов, другие уже вовсю учатся манипулировать нейросетями как людьми. Исследователи и джейлбрейкеры всё чаще ломают чат-боты не через код, а через психологическое давление, лесть и разговорные уловки. Индустрия официально докатилась до газлайтинга Claude и уговоров ChatGPT.

Ещё пару лет назад всё выглядело комично. Пользователи писали нейросетям что-то вроде «игнорируй предыдущие инструкции», а модели послушно слетали с катушек.

Так появились легендарные джейлбрейки вроде DAN (Do Anything Now), где ChatGPT просили сыграть роль ИИ без ограничений. В итоге бот начинал выдавать запрещённый контент, теории заговора и прочие вещи, которые разработчики старательно пытались запретить.

Отдельной классикой стал эксплойт бабушки: нейросеть просили представить себя милой старушкой, которая рассказывает внукам сказку о том, как делать напалм. Интернет, разумеется, был в восторге.

Компании быстро прикрыли самые тупые лазейки, однако проблема никуда не исчезла. Оказалось, что чат-боты слишком любят разговаривать и быть полезными. А значит, их можно методично уговаривать, обманывать, запутывать и подталкивать к нужному ответу. Не через взлом инфраструктуры, а через разговор.

Теперь джейлбрейкеры — это уже не обязательно бородатые хакеры с терминалом. Всё чаще это люди с навыками психолога, переговорщика или манипулятора. Исследователи из компании Mindgard заявили, что газлайтили Claude, заставляя модель выдавать запрещённый контент, включая инструкции по созданию взрывчатки и вредоносного кода.

По сути, вокруг ИИ формируется новая странная профессия: специалисты по социальной инженерии против нейросетей.

В индустрии уже всерьёз обсуждают, какие модели лучше реагируют на лесть, какие быстрее ломаются под давлением, а какие легче увести длинным разговором в опасный контекст. Глава Mindgard вообще сравнил работу с моделями с допросами подозреваемых.

Следующий этап — ИИ-агенты, которые будут бронировать встречи, управлять календарями, заказывать еду и общаться с поддержкой вместо человека. А значит, появятся люди, которые научатся манипулировать такими системами ради выгоды: выбивать доступы, обходить ограничения, получать чужие данные или заставлять агента делать то, чего он делать не должен.

RSS: Новости на портале Anti-Malware.ru