ИИ-помощник Claude провел для шпионов 30 атак, несколько — с успехом

ИИ-помощник Claude провел для шпионов 30 атак, несколько — с успехом

ИИ-помощник Claude провел для шпионов 30 атак, несколько — с успехом

Зафиксирован первый случай злоупотребления ИИ для почти полной (на 80-90%) автоматизации шпионских атак на госструктуры и крупные компании. Суммарно с помощью Claude было атаковано около 30 целей; в нескольких случаях взлом завершился успехом.

Инициатором необычной кампании, по данным Anthropic, являлась китайская APT-группа, идентифицируемая как GTG-1002. Мишени для проведения атак ее участники выбирали сами; их интересовали секреты госсектора, ИТ, финансовой сферы и химической промышленности.

Операторы ИИ-дирижера в ходе каждой многоступенчатой атаки вмешивались лишь 4-6 раз — когда надо было принять стратегическое решение по результатам выполнения задач агентскими Claude.

Эти исполнители определяли площадь атаки, сканировали целевую инфраструктуру в поисках уязвимостей, разрабатывали способы их использования и эксплойт-коды, воровали учетки и проверяли их дееспособность, собирали конфиденциальные данные.

Дискретные задачи ставились компонентам ИИ с тщательной формулировкой промптов и без раскрытия контекста, который бы мог выдать недобрые намерения.

 

Обнаружив атаки с использованием ее продукта, Anthropic запустила расследование, определила масштабы вредоносных операций и по итогам заблокировала ассоциированные аккаунты, а также уведомила потенциальных жертв и правоохранительные органы.

К счастью, в новой бочке дегтя присутствовала ложка меда: из-за склонности в галлюцинациям ИИ зачастую выдавал желаемое за действительное: рапортовал об успехах (краже актуальных учеток, обнаружении якобы неизвестных ранее уязвимостей), хотя действительность свидетельствовала об обратном.

Подобные ошибки говорят о том, что интеллектуальные помощники не способны самостоятельно проводить хакерские атаки — по крайней мере, на современном этапе развития ИИ.

Запрет на ИИ Anthropic может ускорить гонку суверенных нейросетей

История вокруг Anthropic стремительно превращается из технологической новости в политическую. Всего через несколько дней после выпуска новых ИИ-моделей Claude Mythos 5 и Claude Fable 5 доступ к ним оказался закрыт. Эксперты уже заговорили о цифровом противостоянии и суверенитете нейросетей.

По данным американских СМИ, Министерство торговли США потребовало от Anthropic запретить использование моделей всеми, кто не является гражданином США.

Причём речь шла не только о клиентах компании, но даже о сотрудниках самой Anthropic за пределами страны. На выполнение требования якобы отвели всего 90 минут.

Компания сочла такую задачу невыполнимой и в итоге полностью закрыла доступ к новым моделям.

Ситуация выглядит беспрецедентной для рынка генеративного ИИ. Если раньше власти разных стран ограничивали отдельные сервисы, приложения или поставки оборудования, то теперь под экспортный контроль фактически попали когнитивные возможности коммерческой нейросети.

Особый интерес к Claude Mythos 5 объясняется её возможностями. По заявлениям разработчиков, модель способна искать уязвимости в программном обеспечении эффективнее человека, восстанавливать исходный код и решать сложные инженерные задачи. Именно эти функции, по мнению ряда экспертов, могли вызвать опасения американских властей.

На рынке уже заговорили о новом этапе цифрового противостояния. Если раньше государства боролись за контроль над данными и микрочипами, то теперь объектом регулирования становятся сами интеллектуальные возможности ИИ.

Последствия могут оказаться куда шире, чем проблемы одной компании. После инцидента политики в Канаде и Европе уже начали говорить о необходимости ускорять разработку собственных ИИ-моделей и снижать зависимость от американских платформ.

Эксперты в беседе с «Известиями» отмечают, что история с Anthropic стала наглядным напоминанием: любой зарубежный ИИ-сервис может оказаться недоступен не из-за технических проблем, а по политическому решению.

На этом фоне всё чаще звучат разговоры о цифровом суверенитете, локальных моделях и мультивендорном подходе. Потому что зависимость от одного поставщика внезапно превратилась из вопроса удобства в вопрос национальной стратегии.

Сергей Мишин, начальник Центра противодействия киберугрозам «Агропромцифры», поделился своим мнением:

«Этот эпизод - не про конкретные две модели, а про устаревание самой парадигмы "щита и меча": когда атакующий инструмент усиливается или масштабируется ИИ, стандартные принципы обеспечения мероприятий по информационной безопасности теряют смысл. Это всё равно что выйти с мечом и щитом против противника, который притащил с собой завод по производству мечей: пока ты парируешь один удар, он штампует тысячу новых.

Однако, эпизод можно понимать двояко: либо это честный тревожный звонок о необходимости ограничения ИИ, либо нагнетание страха перед ИИ ради суверенизации технологии - и для специалиста по ИБ важно не выбрать одну версию, а заложить обе в модель рисков».

RSS: Новости на портале Anti-Malware.ru