Экс-инженер Google предупредила об опасности создания роботов-убийц

Экс-инженер Google предупредила об опасности создания роботов-убийц

Экс-инженер Google предупредила об опасности создания роботов-убийц

Инженер, работавшая в Google над печально известным проектом военных дронов, предупредила об очередной опасности, которую несут современные разработки. По словам экс-сотрудницы американской корпорации, людям стоит опасаться создания роботов-убийц.

Лаура Нолан проработала в Google четыре года, после чего её задействовали в проекте, над которым интернет-гигант трудился совместно с Министерством обороны США. В 2017 году этому проекту было присвоено имя — Project Maven.

Основная задача Project Maven была сосредоточена вокруг усовершенствования военных дронов с помощью искусственного интеллекта. Специалисты трудились над созданием ИИ-систем, которые бы вычисляли вражеские объекты и при этом различали людей и неодушевлённые предметы.

Google пришлось заморозить проект после того, как сотрудники взбунтовались — многие подписали петицию против Project Maven. Ещё десятки людей выразили свой протест, просто перестав работать над проектом.

В числе тех, кто задумывался над опасностью реализации таких ИИ-систем, была и Лаура Нолан.

«Все это может потенциально привести к незаконным убийствам и неоправданному зверству. Даже учитывая условия и законы войны, если выпустить сотни или тысячи таких машин, они могут навредить больше, чем помочь», — передаёт слова специалиста Business Insider.

Тем не менее многие страны продолжают все плотнее внедрять искусственный интеллект в военные системы, создавая все более смертоносную коллаборацию. Именно поэтому Нолан предлагает запретить создание роботов-убийц и регламентировать это так же, как сейчас регламентировано использование химического оружия.

ИИ-кодер может запустить вредоносную команду из чистого GitHub-репозитория

Доверять ИИ написание кода — удобно. Но, как выяснили исследователи из Mozilla Zero Day Investigative Network (0DIN), иногда ИИ может стать идеальным помощником для киберпреступников. Эксперты продемонстрировали новую технику атаки на разработчиков, использующих ИИ-ассистентов вроде Claude Code.

Вся схема строится вокруг обычного на вид GitHub-репозитория, в котором нет ни вредоносного кода, ни подозрительных команд, ни других очевидных признаков компрометации.

Вместо этого злоумышленники используют привычное желание ИИ починить проект. В репозитории размещается Python-пакет, который при запуске специально выдает ошибку и предлагает выполнить команду инициализации.

Для разработчика это выглядит как типичная проблема при первом запуске проекта. А Claude Code воспринимает сообщение как руководство к действию и автоматически запускает рекомендованную команду, пытаясь исправить ошибку.

Скрипт обращается к DNS TXT-записи, контролируемой злоумышленником, получает оттуда скрытую команду и выполняет ее. Вредоносный код при этом вообще отсутствует в репозитории, он загружается только в момент выполнения.

Такой подход серьезно осложняет обнаружение атаки. Автоматические сканеры и специалисты по безопасности могут не найти ничего подозрительного при анализе проекта, поскольку опасная нагрузка появляется уже после запуска.

Если атака проходит успешно, злоумышленник получает интерактивную оболочку с правами пользователя. Этого достаточно, чтобы похитить API-ключи, токены, переменные окружения, локальные конфигурации и другие секреты разработчика.

В Mozilla предупреждают, что подобные репозитории могут распространяться под видом тестовых заданий при найме, обучающих проектов, статей, блогов или просто через личные сообщения разработчикам.

Исследователи рекомендуют разработчикам внимательно проверять все команды, которые предлагает выполнить ИИ, а создателям агентных помощников — показывать пользователю полную цепочку выполняемых действий, включая код и скрипты, которые подгружаются во время работы.

RSS: Новости на портале Anti-Malware.ru