Пентагон разрабатывает шпионско-пропагандистскую систему для социальных сетей

Пентагон разрабатывает шпионско-пропагандистскую систему для социальных сетей

Управление перспективных исследований Министерства обороны США (DARPA) объявило о начале проекта «Социальные медиа в стратегической коммуникации» (Social Media In Strategic Communication, SMISC). Он рассчитан приблизительно на три года; подрядчики, которые будут окончательно отобраны до 11 октября, получат в общей сложности около $42 млн.



Заявленные цели проекта, согласно оригинальному описанию DARPA, таковы: 1) обнаружение, классификация, измерение и отслеживание а) образования идей и концепций (мемов) и б) целенаправленного распространения сообщений и дезинформации; 2) распознавание структур пропагандистских кампаний и операций влияния на сайтах и сообществах социальных медиа; 3) идентификация участников и их намерений, измерение эффекта кампаний влияния; 4) противодействие враждебным кампаниям влияния с помощью контрсообщений, передает compulenta.

DARPA подчёркивает, что область применения ПО, разрабатываемого в рамках SMISC, — среда, в которой действует армия США, и места, где она «проводит операции». Журнал Wired полагает, что аудитория проекта — американские военнослужащие за рубежом и иностранные граждане (по закону Смита-Мандта 1948 года, пропаганда на территории США незаконна).

Интересен список технологий, которые DARPA полагает ключевыми для проекта SMISC. Среди них — лингвистический анализ, распознавание паттернов, эмоций и «культурных нарративов», теория графов, краудсорсинг, автоматическое создание контента, боты. Чтобы понимать социальные медиа, уверены в DARPA, нужно в первую очередь уметь моделировать динамику развития сетей: анализ сетей как статичных структур, увы, приводит к неверным результатам.

Для иллюстрации того, как будет работать будущая система, DARPA рассказывает туманную историю о некоем индивиде, которого в социальных медиа предлагалось линчевать; страсти накалились, но занимавшиеся мониторингом ответственные люди держали кризис под контролем с самого начала и предотвратили атаку на дом несчастного с помощью своевременных сообщений. Так вот, SMISC-результат — это якобы то же самое, только в автоматическом/полуавтоматическом режиме.

Нам, впрочем, видятся целые отделы хорошо оплачиваемых интернет-воинов, а также сообщения «Pentawhores ITT» на 4chan и автоматически сгенерированная Advice Dog, призывающая служить отечеству.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

ИИ-помощник Claude провел для шпионов 30 атак, несколько — с успехом

Зафиксирован первый случай злоупотребления ИИ для почти полной (на 80-90%) автоматизации шпионских атак на госструктуры и крупные компании. Суммарно с помощью Claude было атаковано около 30 целей; в нескольких случаях взлом завершился успехом.

Инициатором необычной кампании, по данным Anthropic, являлась китайская APT-группа, идентифицируемая как GTG-1002. Мишени для проведения атак ее участники выбирали сами; их интересовали секреты госсектора, ИТ, финансовой сферы и химической промышленности.

Операторы ИИ-дирижера в ходе каждой многоступенчатой атаки вмешивались лишь 4-6 раз — когда надо было принять стратегическое решение по результатам выполнения задач агентскими Claude.

Эти исполнители определяли площадь атаки, сканировали целевую инфраструктуру в поисках уязвимостей, разрабатывали способы их использования и эксплойт-коды, воровали учетки и проверяли их дееспособность, собирали конфиденциальные данные.

Дискретные задачи ставились компонентам ИИ с тщательной формулировкой промптов и без раскрытия контекста, который бы мог выдать недобрые намерения.

 

Обнаружив атаки с использованием ее продукта, Anthropic запустила расследование, определила масштабы вредоносных операций и по итогам заблокировала ассоциированные аккаунты, а также уведомила потенциальных жертв и правоохранительные органы.

К счастью, в новой бочке дегтя присутствовала ложка меда: из-за склонности в галлюцинациям ИИ зачастую выдавал желаемое за действительное: рапортовал об успехах (краже актуальных учеток, обнаружении якобы неизвестных ранее уязвимостей), хотя действительность свидетельствовала об обратном.

Подобные ошибки говорят о том, что интеллектуальные помощники не способны самостоятельно проводить хакерские атаки — по крайней мере, на современном этапе развития ИИ.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru