Пентагон разрабатывает шпионско-пропагандистскую систему для социальных сетей

Пентагон разрабатывает шпионско-пропагандистскую систему для социальных сетей

Управление перспективных исследований Министерства обороны США (DARPA) объявило о начале проекта «Социальные медиа в стратегической коммуникации» (Social Media In Strategic Communication, SMISC). Он рассчитан приблизительно на три года; подрядчики, которые будут окончательно отобраны до 11 октября, получат в общей сложности около $42 млн.



Заявленные цели проекта, согласно оригинальному описанию DARPA, таковы: 1) обнаружение, классификация, измерение и отслеживание а) образования идей и концепций (мемов) и б) целенаправленного распространения сообщений и дезинформации; 2) распознавание структур пропагандистских кампаний и операций влияния на сайтах и сообществах социальных медиа; 3) идентификация участников и их намерений, измерение эффекта кампаний влияния; 4) противодействие враждебным кампаниям влияния с помощью контрсообщений, передает compulenta.

DARPA подчёркивает, что область применения ПО, разрабатываемого в рамках SMISC, — среда, в которой действует армия США, и места, где она «проводит операции». Журнал Wired полагает, что аудитория проекта — американские военнослужащие за рубежом и иностранные граждане (по закону Смита-Мандта 1948 года, пропаганда на территории США незаконна).

Интересен список технологий, которые DARPA полагает ключевыми для проекта SMISC. Среди них — лингвистический анализ, распознавание паттернов, эмоций и «культурных нарративов», теория графов, краудсорсинг, автоматическое создание контента, боты. Чтобы понимать социальные медиа, уверены в DARPA, нужно в первую очередь уметь моделировать динамику развития сетей: анализ сетей как статичных структур, увы, приводит к неверным результатам.

Для иллюстрации того, как будет работать будущая система, DARPA рассказывает туманную историю о некоем индивиде, которого в социальных медиа предлагалось линчевать; страсти накалились, но занимавшиеся мониторингом ответственные люди держали кризис под контролем с самого начала и предотвратили атаку на дом несчастного с помощью своевременных сообщений. Так вот, SMISC-результат — это якобы то же самое, только в автоматическом/полуавтоматическом режиме.

Нам, впрочем, видятся целые отделы хорошо оплачиваемых интернет-воинов, а также сообщения «Pentawhores ITT» на 4chan и автоматически сгенерированная Advice Dog, призывающая служить отечеству.

Подпишитесь на новости

В России сформулировали главную проблему ИИ — у него нет страха

Искусственному интеллекту не хватает страха перед ошибкой. Такую мысль высказал заместитель главы Минцифры России Александр Шойтов на конференции BIS Summit, посвящённой информационной безопасности бизнеса и ИТ.

«В ИИ нужно встроить систему страха, чтобы он боялся совершить ошибку, как человек», — заявил Шойтов в ходе дискуссии.

Речь, конечно, не о дрожащей нейросети, которая перед каждым ответом вспоминает ипотеку и разговор с начальником. Под страхом можно понимать встроенный механизм сомнения: способность модели оценивать последствия своих действий, признавать нехватку данных и останавливаться, если цена ошибки слишком высока.

Сейчас генеративный ИИ способен уверенно выдавать неверные ответы, придумывать факты и выполнять опасные команды без человеческого ощущения риска.

Для обычного чат-бота это заканчивается галлюцинацией, а для ИИ-агента с доступом к корпоративным системам — удалёнными файлами, утечкой данных или нарушением работы инфраструктуры.

На BIS Summit прозвучала и ещё более амбициозная идея — встроить в ИИ-модели совесть. Её озвучил Николай Лишин, заместитель руководителя ФМБА России. Если страх должен удерживать систему от ошибки, то совесть, по такой логике, должна помогать оценивать допустимость самого действия.

Получается своеобразный технический портрет идеального ИИ: достаточно умный, чтобы решить задачу, достаточно напуганный, чтобы всё перепроверить, и достаточно совестливый, чтобы вовремя отказаться. Осталось только написать для этого техническое задание.

RSS: Новости на портале Anti-Malware.ru