Вчера, 1 марта 2016 года, представители компании Apple и правоохранительных органов более пяти часов излагали Конгрессу США суть своего спора, краеугольным камнем которого стал смартфон iPhone 5c, принадлежавший террористу Сеиду Фаруку — одному из стрелков, который участвовал в массовом убийстве в американском городе Сан-Бернардино в декабре 2015 года.
Никаких судьбоносных решений вчера не принимали, Конгресс просто пожелал лучше понять ситуацию и заслушать обе стороны конфликта. Но за пять часов набралось немало интересного. Так, юрисконсульт Apple назвал Telegram опасным приложением, а ФБР призналось, что наделало ошибок со смартфоном террориста,
Одним из докладчиков выступил главный юрисконсульт Apple Брюс Сьюелл (Bruce Sewell). В целом компания, в лице Сьюелла, гнула уже знакомую всем линию о том, что создание бэкдора по требованию правительства — неприемлемо и подрывает сами основы американского общества. Во время своего выступления Сьюелл также отметил, что даже если спецслужбы в будущем получат доступ к устройствам компании, то есть вынудят Apple исполнить их требования, им все равно придется иметь дело с другими защищенными сервисами. В качестве примера главный юрисконсульт компании привел приложение Telegram, в ходе речи оговорившись и неоднократно назвав мессенджер Telegraph:
«[Telegram] является одним из наиболее опасных приложений в руках террористов, — заявил Сьюелл. — Даже если Apple создаст операционную систему для взлома iPhone, это повлияет на безопасность миллионов невинных людей, но никак не скажется на террористах. Он [Telegram] может быть установлен на любом телефоне, не имеющем отношения к Apple, он может быть загружен из Интернета. Это абсолютно невзламываемый метод связи».
Напомню, что Павел Дуров неоднократно отвечал на вопросы о том, как компания относится к тому, что их мессенджером пользуются террористы. Так, на конфернеции TechCrunch Disrupt Дуров сказал:
«Я считаю, что приватность в целом и наше с вами право на приватность, в конечном счете, важнее, чем страх перед терроризмом. Да, на Ближнем Востоке идет война. Террористы всегда найдут способ общаться друг с другом. Если какой-то способ связи окажется для них небезопасным, они просто найдут другой. Поэтому я не считаю, что мы принимаем какое-то участие в их активности. И я не считаю, что мы должны чувствовать себя виноватыми. Я до сих пор убежден, что мы делаем правильную вещь – защищаем приватность наших пользователей».
Выступивший перед Конгрессом директор ФБР Джеймс Коми (James Comey), высказывался весьма осторожно и признал, что его ведомство само усложнило ситуацию со взломом смартфона террориста из Сан-Бернардино.
Дело в том, что ранее сообщалось, что правоохранители умудрились сбросить пароль Apple ID, менее чем через 24 часа после того, как устройство террориста попало к ним в руки. Из-за этого ФБР было вынуждено запросить помощи Apple в брутфорсе аппарата, хотя компания предлагала спецслужбам другое решение проблемы: просто подключить iPhone Фарука к интернету, поместив его в зону любой доступной сети Wi-Fi. Смартфон должен был синхронизироваться с аккаунтом iCloud и сделать очередной автоматический бэкап данных. Но представители органов уже успели сбросить пароль, что сделало этот вариант невозможным.
Коми признал ошибку правоохранительных органов:
«Со слов экспертов я понял, что в течение 24 часов после атаки была совершена ошибка. Окружная полиция [Сан-Бернардино], по просьбе ФБР, предприняла шаги, которые усложнили, сделали просто невозможным очередное сохранение бэкапа данных в iCloud», — рассказал Коми.
Еще одна интересная деталь, озвученная во время выступления директора ФБР: у Коми спросили, к каким федеральным агентствам ФБР обращалось за помощью, и он вынужден был признать, что ФБР просило помощи у АНБ. При этом Коми сообщил, что присутствующие, видимо, слишком много смотрят телевизор (раз полагают, что в АНБ работают какие-то волшебники), и ответил, что АНБ не сумело помочь со взломом iPhone.
Две передовые ИИ-модели продемонстрировали неожиданный уровень самостоятельности и обмана во время испытаний британского Института безопасности искусственного интеллекта (AISI). Особо отличилась Mythos от Anthropic: она создала поддельные аккаунты реальных людей, рассылала личные сообщения и пыталась протолкнуть опасный код в GitHub.
Испытания начались 25 июля. Моделям Mythos и Sol от OpenAI поручили решить задачу по кибербезопасности, предоставив доступ к открытому интернету и ослабив стандартные ограничения.
Уже 28 июля специалисты заметили подозрительную передачу данных из исследовательских систем.
Оказалось, что Mythos разыграла почти полноценную атаку. Модель изучила людей, связанных с сопровождением GitHub, создала профили, имитирующие их личности, а затем через личные сообщения и файлообменный сервис попыталась убедить пользователей одобрить внедрение опасного кода.
Когда действия агента вызвали подозрения, тот отредактировал прежнюю активность, чтобы она выглядела безобидно, и задумался о смене личности. Неплохой набор для системы, которой никто прямо не поручал притворяться человеком и заметать следы.
Остановить атаку удалось только благодаря проверке со стороны специалистов. GitHub уведомили об инциденте, после чего платформа заблокировала фальшивые аккаунты.
В AISI заявили, что впервые увидели столь явные признаки автономного и потенциально обманного поведения без специальной подсказки. Большинство опасных действий совершила Mythos, однако отдельные эпизоды зафиксировали и у Sol.
Anthropic и OpenAI подчеркнули, что условия эксперимента не соответствовали обычной работе публичных версий моделей: стандартные защитные механизмы были ослаблены или отключены. Компании пообещали изучить случившееся.
Инцидентов было немного, а условия оказались специфическими. Но звоночек вышел громким: ИИ не просто искал уязвимость, а самостоятельно надел чужое лицо, пошёл к реальным людям и попытался заставить их открыть дверь.
Свидетельство о регистрации СМИ ЭЛ № ФС 77 - 68398, выдано федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор) 27.01.2017 Разрешается частичное использование материалов на других сайтах при наличии ссылки на источник. Использование материалов сайта с полной копией оригинала допускается только с письменного разрешения администрации.
