DHS тестирует новую технологию мониторинга соцсетей

DHS тестирует новую технологию мониторинга соцсетей

 Министерство внутренней безопасности США планирует протестировать новую технологию мониторинга социальных сетей. По имеющейся информации, данная технология позволяет выявлять в открытых социальных сетях признаки пандемии.

Как заявляют представители компании Accenture, специалисты которой будут заниматься тестированием данной технологии, технология разрабатывалась в рамках программы мониторинга эпидемиологических тенденций в стране. Такая технология позволит специалистам выявлять среди огромного количества информации, распространяемой пользователями социальных сетей, интересующие их данные. Четкое экономическое обоснование необходимости создания и использования данной технологии до сих пор не представлено.

Как заявляет руководство Accenture, чисто теоритически, мониторинг и последующий анализ информации, распространяемый пользователями соцсетей, позволит своевременно получать информацию о различных событиях, способных нанести вред здоровью большого количества людей.

Как известно, еще в июле текущего года президент США Барак Обама изложил основы общенациональной стратегии биомониторинга (national strategy for biosurveillance). Согласно данной стратегии, соответствующим органам предписывалось разработать новые методы выявления биологических угроз, способных подорвать национальную безопасность страны. При этом Барак Обама отметил особую роль социальных сетей в вопросах раннего предупреждения таких угроз. В качестве примера угроз, на которые следует обратить внимание в первую очередь, приводились случаи рассылки писем, содержащих штаммы сибирской язвы, в 2001 году; вспышка эпидемии ОРВИ в 2003 году; эпидемия птичьего гриппа в 2009 году и авария на японской атомной электростанции в 2011 году.

По имеющейся информации, специалисты Accenture и Министерства национальной безопасности США в первую очередь планируют осуществлять мониторинг наиболее крупных социальных сетей в мире, таких как Facebook, Twitter, LinkedIn, а также различных блогов. При этом уточняется, что существующий список источников информации далеко неполный и будет существенно расширяться.

Следует отметить, что это далеко не первый случай, когда министерство безопасности США отслеживает информацию в социальных сетях. Не так давно на министерство в очередной раз подали в суд. В исковом заявлении отмечалось, что один из действующих проектов ведомства нарушает действующие нормы законодательства и права граждан. А в феврале текущего года члены комитета национальной безопасности при сенате США выразили обеспокоенность тем, что некоторые проекты, реализуемые Министерством внутренней безопасности США, нарушают права граждан страны на свободу слова и защиту от необоснованной слежки. Что является прямым нарушением конституции США.

Нейросети научились ломать без кода, теперь их просто газлайтят

Пока одни спорят, заменит ли ИИ программистов, другие уже вовсю учатся манипулировать нейросетями как людьми. Исследователи и джейлбрейкеры всё чаще ломают чат-боты не через код, а через психологическое давление, лесть и разговорные уловки. Индустрия официально докатилась до газлайтинга Claude и уговоров ChatGPT.

Ещё пару лет назад всё выглядело комично. Пользователи писали нейросетям что-то вроде «игнорируй предыдущие инструкции», а модели послушно слетали с катушек.

Так появились легендарные джейлбрейки вроде DAN (Do Anything Now), где ChatGPT просили сыграть роль ИИ без ограничений. В итоге бот начинал выдавать запрещённый контент, теории заговора и прочие вещи, которые разработчики старательно пытались запретить.

Отдельной классикой стал эксплойт бабушки: нейросеть просили представить себя милой старушкой, которая рассказывает внукам сказку о том, как делать напалм. Интернет, разумеется, был в восторге.

Компании быстро прикрыли самые тупые лазейки, однако проблема никуда не исчезла. Оказалось, что чат-боты слишком любят разговаривать и быть полезными. А значит, их можно методично уговаривать, обманывать, запутывать и подталкивать к нужному ответу. Не через взлом инфраструктуры, а через разговор.

Теперь джейлбрейкеры — это уже не обязательно бородатые хакеры с терминалом. Всё чаще это люди с навыками психолога, переговорщика или манипулятора. Исследователи из компании Mindgard заявили, что газлайтили Claude, заставляя модель выдавать запрещённый контент, включая инструкции по созданию взрывчатки и вредоносного кода.

По сути, вокруг ИИ формируется новая странная профессия: специалисты по социальной инженерии против нейросетей.

В индустрии уже всерьёз обсуждают, какие модели лучше реагируют на лесть, какие быстрее ломаются под давлением, а какие легче увести длинным разговором в опасный контекст. Глава Mindgard вообще сравнил работу с моделями с допросами подозреваемых.

Следующий этап — ИИ-агенты, которые будут бронировать встречи, управлять календарями, заказывать еду и общаться с поддержкой вместо человека. А значит, появятся люди, которые научатся манипулировать такими системами ради выгоды: выбивать доступы, обходить ограничения, получать чужие данные или заставлять агента делать то, чего он делать не должен.

RSS: Новости на портале Anti-Malware.ru