Сотрудники Google протестуют против контракта Пентагона

Сотрудники Google протестуют против контракта Пентагона

Сотрудники Google протестуют против контракта Пентагона

Прошло почти три месяца с тех пор, как общественность и сотрудники Google узнали о решении компании использовать искусственный интеллект в спорной военной пилотной программе Project Maven, направленной на ускорение анализа отснятого материала, используя автоматическую классификацию изображений объектов и людей. Сейчас около десяти сотрудников Google подают в отставку в знак протеста против продолжения участия компании в этом проекте.

Разочарования сотрудников варьируются от конкретных этических соображений по поводу использования искусственного интеллекта в беспилотных войнах до более широких забот о политических решениях Google и эрозии доверия пользователей, которая может быть результатом этих действий. Многие из них написали заявления о своем решении покинуть компанию, а их рассказы были собраны и распространены во внутреннем документе.

Сотрудники, которые уходят в отставку в знак протеста, говорят, что руководители стали менее прозрачными в спорных бизнес-решениях и менее заинтересованы в том, чтобы слушать возражения сотрудников. В случае с Maven Google помогает Министерству обороны внедрять машинное обучение для классификации изображений, собранных беспилотными летательными аппаратами. Но некоторые сотрудники считают, что люди, а не алгоритмы, несут ответственность за эту чувствительную и потенциально опасную работу, и что Google вообще не должен участвовать в работе с министерством обороны.

Исторически Google продвигала открытую культуру, которая побуждает сотрудников бросать вызов и обсуждать решения о продуктах. Но некоторые сотрудники считают, что их руководство больше не так внимательно относится к их проблемам, оставляя их перед лицом последствий.

В дополнение к отставкам почти 4 000 сотрудников Google заявили о своей оппозиции проекту Maven во внутреннем ходатайстве, которое просит Google немедленно отменить контракт и разработать политику в отношении возможного сотрудничества с военными.

Тем не менее, растущее давление со стороны сотрудников, похоже, мало повлияло на решение Google - компания защитила свою работу над Maven и считается одним из ведущих претендентов на другой крупный контракт на облачные вычисления в Пентагоне, совместную инфраструктуру защиты предприятий, лучше известный как JEDI.

Google подчеркнул, что его ИИ не используется, чтобы убивать, но использование искусственного интеллекта в беспилотной программе Пентагона по-прежнему вызывает сложные этические и моральные проблемы для программистов и ученых, изучающих область машинного обучения.

Сегодня более 90 ученых в области искусственного интеллекта, этики и информатики опубликовали письмо, в котором содержится призыв к Google прекратить работу над проектом Maven и поддержать международный договор, запрещающий автономные системы оружия. Питер Асаро и Люси Сучман, два из авторов письма, засвидетельствовали перед Организацией Объединенных Наций об автономном оружии; третий автор, Лилли Ирини, профессор и бывший сотрудник Google.

 

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Вредонос PROMPTFLUX обращается к ИИ Gemini, чтобы менять свой код

Google сообщила о новой экспериментальной вредоносной программе, использующей искусственный интеллект для изменения собственного кода и сокрытия в целевой системе. Речь идет о PROMPTFLUX — вредоносном скрипте на VB Script, который взаимодействует с API Gemini, запрашивая у модели варианты обфускации и обхода антивирусных систем.

Как пояснили специалисты из Google Threat Intelligence Group (GTIG), PROMPTFLUX обращается к Gemini 1.5 Flash (и более поздним версиям), чтобы получать обновлённый код, способный обойти сигнатурное обнаружение.

Вредоносный скрипт использует встроенный API-ключ для отправки запросов напрямую к API Gemini и сохраняет новые версии в папке автозагрузки Windows.

Интересно, что внутри скрипта есть функция саморегенерации — AttemptToUpdateSelf. Хотя она закомментирована и неактивна, наличие логов взаимодействия с ИИ в файле thinking_robot_log.txt говорит о том, что авторы планируют создать «саморазвивающийся» вредоносный код.

 

Google отмечает, что существует несколько вариаций PROMPTFLUX, и в одной из них ИИ получает задачу полностью переписывать код скрипта каждый час. Однако на данный момент программа находится на стадии разработки и не способна заражать устройства. Судя по всему, за проектом стоит группа с финансовой мотивацией, а не государственные хакеры.

Некоторые эксперты, впрочем, считают, что история преувеличена. Исследователь Марк Хатчинс (Marcus Hutchins) заявил, что PROMPTFLUX не демонстрирует реальных признаков «умного» поведения:

«Модель Gemini не знает, как обходить антивирусы. Кроме того, код не имеет механизмов, гарантирующих уникальность или стабильность работы. А функция модификации кода даже не используется».

Тем не менее специалисты Google предупреждают, что злоумышленники активно экспериментируют с использованием ИИ не только для автоматизации задач, но и для создания вредоносных инструментов, которые способны адаптироваться «на лету».

Среди других примеров ИИ-вредоносов, обнаруженных Google, упоминаются:

  • FRUITSHELL — обратная оболочка на PowerShell, обученная обходить системы на основе LLM;
  • PROMPTLOCK — кросс-платформенный вымогатель на Go, использующий LLM для генерации вредоносных скриптов на Lua;
  • PROMPTSTEAL (LAMEHUG) — инструмент, применявшийся группировкой APT28 для атак на Украину;
  • QUIETVAULT — JavaScript-зловред, крадущий токены GitHub и NPM.
AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru